Merge pull request #18917 from mattwire/financialtrxn_payprocid

Add UI metadata for payment_processor_id on financialTrxn

Merge pull request #18907 from alifrumin/2139

dev/core#2139 fix defaulting for multi-select custom fields

Merge pull request #18919 from colemanw/searchKitValidate

Search ext: Fix validation and saving on search admin screen

Search ext: Fix validation and saving on search admin screen

Add UI metadata for payment_processor_id on financialTrxn

Merge pull request #18914 from totten/master-auth-client

dev/core#2141 - Add "oauth-client" extension (hidden)

Merge pull request #18864 from demeritcowboy/logz

dev/core#2148 - Incorrect use of ts, quotes, escape in log call

Merge pull request #18915 from colemanw/entityPaths2

Use standard names for entity paths and add a few more paths

Merge pull request #18910 from totten/master-error-log

CRM_Core_Error::formatFooException - Don't bomb on 'Error'

Use standard names from CRM_Core_Action for entity paths and add a few more paths

For the sake of consistency, this changes the newly-added entity paths to follow the naming convention in CRM_Core_Action:
add/update/view/delete
instead of create/edit/view/delete

Merge pull request #18909 from colemanw/searchDisplay2

Search ext: Add links to search admin and improve links in displays

oauth-client - Add basic UI to inspect/debug JWT-based tokens

dev/core#2141 - AuthorizationCode - Validate that the final return URL is internal

oauth-client - Add menu item ("Admin: System Settings: OAuth")

dev/core#2141 - Basic UI for CRUD'ing clients

oauth-client - Mark extension as hidden

dev/core#2141 - Set prompt=select_account whenever using MailSetup

If you're an admin setting up an email return-channel, then you may not
intend to use your normal email account.  It makes sense to always prompt
for the preferred account.

dev/core#2141 - If a mail-store has an OAuth2 token, then use it

dev/core#2141 - Allow OAuth2 services to define mail setup routine

Overview
--------

For certain types of mail accounts -- such as Google Mail and Microsoft
Exchange Online -- the setup process may require interaction with a remote
web-service.

If you have OAuth2 enabled for one of these services, then this will create
an option for "Add Mail Account".

Before
------

There is no setup procedure.

After
-----

* Navigate to "Administer => CiviMail => Mail Accounts".
* Below the table, there is a select2 box for "Add Mail Account".
* If "Microsoft Exchange Online" is configured, then it will appear in the dropdown. Choose it.
* It redirects to MS to get authorization from the user (OAuth2 Authorization Code).
* The user comes back.
* We initialize a new mail account (`MailSettings` / `civicrm_mail_settings`)
* We accept the code and save the token (`OAuthSysToken`) with the account.
* We redirect to the account configuration form.

Technical Details
-----------------

The new mail account will have some details, such as `server`, `protocol`,
and `username` pre-filled.  This uses a template -- see e.g.
`providers/ms-exchange.dist.json` (`mailSettingsTemplate`).

dev/core#2141 - AuthorizationGrant - Upon return, emit hook & possible redirect

dev/core#2141 - Add support for token-tagging to all grant flows

Suppose you have a downstream app/module -- such as the Civi-IMAP app/module.  It needs to store a notation which says
"this thing in our data" (e.g.  `civicrm_mail_settings`) "corresponds to that token in the OAuth data".

It can put a tag on the token (`tag=civicrm_mail_settings:123`) and use that for lookup

```
$tag = `OAuthSysToken.refresh +w tag=civicrm_mail_settings:123`
```

The advantage of this is that it's simple, flexible, and doesn't require new schema.

Of course, it's not end-all/be-all.  It's OK for 1:1 relationship.  But if
you want 1:M or M:M, then you'll have to model that as something else.  But
for basic usage, tags are simple and moderately flexible.

dev/core#2141 - Add "local-redir" stub for use as OAuth2 "Redirect URL"

If you are developing on a local HTTP system with virtual hosts, then many
OAuth2 services won't recognize it as a local/dev URL.

The "local-redir.sh" script runs a stub service that will be accepted as
a local/dev "Redirect URL".

dev/core#2141 - APIv4 - Add `OAuthClient.clientCredential` authentication

dev/core#2141 - APIv4 - Add `OAuthClient.userPassword` authentication

dev/core#2141 - APIv4 - Add OAuthSysToken.refresh action

dev/core#2141 - APIv4 - Add `OAuthClient.authorizationCode` authentication

dev/core#2141 - Update 'oauth2.league' to respect setting 'oauthClientRedirectUrl'

dev/core#2141 - Add services 'oauth2.league' and 'oauth2.token'

dev/core#2141 - APIv4 - Expands tests for OAuthSysToken

dev/core#2141 - APIv4 - Validate OAuthClient.provider property

dev/core#2141 - APIv4 - Add OAuthClient & OAuthSysToken with unit-test

dev/core#2141 - Schema - Add OAuthClient and OAuthSysToken

Depends on OAuthProvider and permissions ('manage OAuth client' and 'manage OAuth client secrets')

dev/core#2141 - Split OAuthProvider files into subdirs. Use long cache.

dev/core#2141 - APIv4 - Add OAuthProvider.get w/test. Split dist/local/test lists.

dev/core#2141 - Permissions - Define 'manage OAuth client' and 'manage OAuth client secrets'

dev/core#2141 - Add upgrader to skeletal ext/oauth-client

dev/core#2141 - Generate skeletal ext/oauth-client

CRM_Core_Error::formatFooException - Don't bomb on 'Error'

PHP 7 updated the class hierarchy for exceptions. The top-level types for exceptions are now:

* class Throwable
* class Error extends Throwable
* class Exception extends Throwable

This patch fixes a problem when logging `Error`s, as in

```php
Civi::log()->warning('There was a problem', [
  'exception' => $e
]);
```

Before
------

If `$e` is an `Error`, it fails to log.

After
-----

It works whether `$e` is an `Error` or `Exception`.

See also: https://www.php.net/manual/en/language.errors.php7.php

Search ext: Add links to search admin and improve links in displays

Merge pull request #18908 from totten/master-composer-oauth

dev/core#2141 - composer.json - Require league/oauth2-{client,google}

a couple problems

composer.lock - Require league/oauth2-{client,google}

composer.json - Require league/oauth2-{client,google}

Note: This oauth2-client matches the constraint that's declared in civixero, which (in my
local copy of `universe`) is the only published extension that uses the same library.

The oauth2-google is included because has special requirements around
'prompt' which conflict with `GenericProvider`. We could potentially resolve that other
ways (eg rework `CiviGenericProvider`), but this seems easier right now.

Merge pull request #18904 from civicrm/5.31

5.31

dev/core#2139 fix defaulting for multi-select custom fields

Merge pull request #18802 from eileenmcnaughton/refs

dev/core#2043 Remove instance of pass-by-ref

Merge pull request #18894 from eileenmcnaughton/cancel

Move call to update related pledges on contribution cancel to extension

Merge pull request #18895 from eileenmcnaughton/ipn

Remove IPN reference to _relatedObjects, deprecate property

Merge pull request #18896 from eileenmcnaughton/ipn2

[Ref] Simplify params

Merge pull request #18900 from eileenmcnaughton/entry

[REF] Simplify use of shared code.

Merge pull request #18903 from eileenmcnaughton/aip2

Remove deprecated code

Merge pull request #18807 from jvos/postProcess-MessageTemplates

Add postProcess hook to MessageTemplates

Merge pull request #18899 from seamuslee001/composer_2x

Update composer-download-plugin to v3.0.0 to support usage of compose…

Merge pull request #18901 from alifrumin/5.31rn

[NFC] 5.31 Release Notes - First Pass

Merge pull request #18897 from eileenmcnaughton/ip3

[REF] Remove silly if

Merge pull request #18902 from totten/master-altermailstore

dev/core#2141 - Add hook_civicrm_alterMailStore

Merge pull request #18898 from seamuslee001/dev_core_2147

dev/core#2147 Switch the groups search field on Simple search back fr…

Update composer-download-plugin to v3.0.0 to support usage of composer 2.x

Remove deprecated code

These few lines have had any meaning removed already....

Merge pull request #18852 from eileenmcnaughton/aip

[Ref] Move sending the email back out of the recur function

dev/core#2141 - Add hook_civicrm_alterMailStore

Overview
--------

The CiviCRM "MailStore" layer is used for importing email messages from
various sources (IMAP, POP3, Maildir, etc).  There is a built-in list with a
handful of drivers (`CRM_Mailing_MailStore_Imap`, etc).

This patch adds a hook for manipulating those drivers.

Before
------

It's not possible for an extension to add a driver, modify a driver, etc.

After
-----

It is now possible to add/modify/replace drivers. Here are two examples.

(1) To supplement the IMAP authentication with a dynamic token for XOAuth2:

```php
function hook_civicrm_alterMailStore(&$mailSettings) {
  if (...$mailSettings requires oauth...) {
    $mailSettings['auth'] = 'XOAuth2';
    $mailSettings['password'] = $myOauthSystem->getToken(...);
  }
}
```

(2) To add a new protocol `FIZZBUZZ`, you would:

1. Register a value in the OptionGroup `mail_protocol`.
2. Create a driver class (eg `CRM_Mailing_MailStore_FizzBuzz` extends `CRM_Mailing_MailStore`)
3. Use the hook to activate the class:

  ```php
  function hook_civicrm_alterMailStore(&$mailSettings) {
    if ($mailSettings['protocol'] === 'FIZZBUZZ') {
      $mailSettings['factory'] = function ($mailSettings) {
        return new CRM_Mailing_MailStore_FizzBuzz(...);
      };
    }
  }
  ```

Technical Details
-----------------

This adds a unit-test with examples of basic/non-hook behavior and hooked behavior.

In reading the diff for `getStore()`, note that it  previously had a long
'switch()' to handle instantiation.  I tried to make the change in a way that
you could see some continuity - e.g. it's still the same basic `switch()`.

The change is to basically wrap the bits inside a function:

* Before: `case 'FOO': return new Foo(...)`
* After: `case 'FOO': return ['factory' => function(...) { return new Foo(...); }]`

5.31 release notes first pass

[REF] Simplify use of shared code.

This function has been sharing 'transitionComponentWithStatusMessage' but in
fact it throws away the status message and the preliminary checks are silly.

This simplifies it so it calls the part of the function it actually does share

Move call to update related pledges on contribution cancel to extension

This moves the functionality over & switches Order api to be entirely relying on the
hook rather than a call to the deprecated transitionComponents function.

[REF] Remove silly if

Checking component AND contributionRecur is silly - the latter will only
be set if relevant so remove the extra if

dev/core#2147 Switch the groups search field on Simple search back from select2 to normal select

[Ref] Simplify params

As with
https://github.com/civicrm/civicrm-core/commit/0d74d91cd340b9f1ea2224119c748e372dffe245

pass the retrieved parameters to the single function rather than the id of the
object retrieved based on them

Remove IPN reference to _relatedObjects, deprecate property

Merge pull request #18893 from civicrm/5.31

5.31 to master

Merge pull request #18877 from seamuslee001/dev_core_2149

dev/core#2149 Ensure that if a chained select field is required and t…

Merge pull request #18881 from eileenmcnaughton/cancelb

dev/core#927 Move handling of participant.cancel from BaseIPN to  contributioncancelactions

Merge pull request #18882 from eileenmcnaughton/pps

[Ref] Use direct version of participant id

Merge pull request #18892 from eileenmcnaughton/uf

Hack away at false negative test fails

Merge pull request #18891 from civicrm/5.31

5.31

Merge pull request #18890 from seamuslee001/dev_core_2154

dev/core#2154 Fix the output of the full text custom search form

Merge pull request #18887 from colemanw/entityPaths

Add entity paths to schema & APIv4

Hack away at false negative test fails

Merge pull request #18889 from demeritcowboy/fulltext-attributes

dev/core#2154 - Pass correct parameters to CRM_Core_Form::add() in fulltext custom search

Merge pull request #18876 from colemanw/searchDisplay

Lotsa new features for the Search Kit extension

dev/core#2154 Fix the output of the full text custom search form

Merge pull request #18888 from colemanw/deprecateCrudLink

Deprecate hook_civicrm_crudLink

Merge pull request #18885 from totten/master-add-mail

dev/core#2141 - "Add Mail Account" - Allow hookable listing of setup links

pass correct parameters

Move handling of participant.cancel to contributioncancelactions extension

Deprecate hook_civicrm_crudLink

The hook is not used anywhere in civicrm_universe, and the function calling it is only used in 1 place,
full-text search for generating links to file entities.

Merge pull request #18886 from mlutfy/moneyTypo

(NFC) Fix typo in Money valueFormat depretation warning

Mark version beta2 & add upgrade script

Add entity paths to schema & APIv4

Entity paths can be used to construct a url to create/view/edit/update a given entity.
The paths are local and contain tokens which would need to be replace, e.g. [id] or [contact_id].
The token name corresponds to the field name whos value is requred.

Merge pull request #18884 from jaapjansma/dev_2152_master_2

/dev/core#2152: Merge contacts keep case roles

Merge pull request #18883 from eileenmcnaughton/ppp

Remove always-true & otherwise silly if

(NFC) Fix typo in Money valueFormat depretation warning

dev/core#2141 - "Add Mail Account" - Allow hookable listing of setup links

Overview
--------

For certain types of mail accounts -- such as Google Mail and Microsoft
Exchange Online -- the setup process may require interaction with a remote
web-service.  The web-service provides some critical details (like
authentication tokens) and some handy details (like their username / email
address).

If the supports one of these services, then this revision will enable a
setup process.  It alters the "Add Mail Account" action to use a more
fine-tuned procedure.

Before
------

* Navigate to "Administer => CiviMail => Mail Accounts".
* Below the table, there is a singular button "Add Mail Account".
* Click the button.
* It opens an empty form for configuring the account.

After
-----

By default, the UX is the same.  However, if you have an extension like
`oauth-client`, then it changes:

* Navigate to "Administer => CiviMail => Mail Accounts".
* Below the table, there is a select box for "Add Mail Account". It lists different account types.
* Choose one of the options from the dropbox. The step depends on...
    * If you choose "Standard Mail Account", it opens the empty config form.
    * If you choose "Microsoft Exchange Online", it redirects to MS to get authorization
      from the user. Then, it redirects and prefills the config form.

Fix for dev/core#2152

Remove always-true & otherwise silly if

[Ref] Use direct version of participant id

ids['Participant'] is taken from the url. It is then passed to loadRelatedObjects
where
https://github.com/civicrm/civicrm-core/blob/0bd5e6bfbe8f339dbe066e3e96e00760c93a57e2/CRM/Contribute/BAO/Contribution.php#L2890
loads an object based on it. We then set ids too the object's id - which is a long way around to
using the paramter we started from. This does that

Merge pull request #18879 from colemanw/fixDAOStyle

Fix extension generated DAO files to pass civilint

Fix extension generated DAO files to pass civilint

Search ext: Add option to format table cell as link in search display

Search ext: decouple actions, add searchKit base module, rename searchAdmin module to crmSearchAdmin

Search ext: Improve styling