Merge pull request #18943 from totten/5.32-token-inspect

dev/core#2141 - Multiple revisions to new screen for inspecting OAuth tokens

dev/core#2141 - Multiple revisions to new screen for inspecting OAuth tokens

Overview
--------

5.32 adds `oauth-client`, which includes a screen for inspecting OAuth
tokens.  This is intended to facilitate debugging.

Before
------

* The screen works for inspecting one token. It offers a button to inspect other tokens, but it doesn't work.
* The screen only shows the `access_token` (and its JWT variant)

After
-----

* The malfunctioning button isn't needed. Remove it.
* The screen shows a full record of the token details. This should make it even more useful for debuggin.

Merge pull request #18940 from seamuslee001/5.32

[REF] Update composer patches to 1.7.0 to support composer 2.x

[REF] Update composer patches to 1.7.0 to support composer 2.x

Set version to 5.32.beta1

Merge pull request #18868 from sunilpawar/logging_date

get log date from tables available in query with data instead of last table

Merge pull request #18851 from ixiam/dev_issue#2142

Adds performance improvement when browsing the report logs

Merge pull request #18913 from tvartom/master

Make civicrm-setup work with a unix-socket for database connection

Merge pull request #18932 from colemanw/schemaHandler

Schema handler fixes

Merge pull request #18931 from seamuslee001/master

5.31

Merge in 5.31

Merge pull request #18925 from totten/5.31-revert-titlereq

dev/translation#58 - Fix regression. Partially revert schema for civicrm_group.title

CustomField - simplify tableName lookup during bulkSave and fix bug

This cleans up the tableName lookup to use the method used throughout this class.
The extra optimization (local caching in the $tables variable) was actually less efficient
because CRM_Core_DAO::getFieldValue caches its results, and is used elsewhere so the value
is likely to already be cached.

The bug is that the same table name was repeatedly being passed into $logging->fixSchemaDifferencesFor().

SchemaHandler - Remove unused/deprecated function

Merge pull request #18930 from MegaphoneJon/financial-156

closes financial/#156: Set contribution status to refunded even if cancelled_payment_id is set

closes financial/#156: Set contribution status to refunded even if cancelled_payment_id is set

Merge pull request #18928 from demeritcowboy/left-right-up-down

dev/core#2167 - Fulltext search drupal block has button on wrong side

Merge pull request #18927 from demeritcowboy/del-mail

dev/core#2166 - E_NOTICE when deleting mail account

button placement on fulltext search drupal block

avoid notice / skip validation when deleting

dev/translation#58 - 5.31.beta2 - Undo 'NOT NULL'

Set version to 5.31.beta2

dev/translation#58 - Partially revert schema for civicrm_group.title

Merge pull request #18911 from totten/master-mail-test

dev/mail#2141 - MailSettings - Add button+API for testing a connection

Merge pull request #18923 from civicrm/5.31

5.31 to master

Merge pull request #18921 from agh1/5.31.0-releasenotes-final

5.31.0 release notes final

Merge pull request #18917 from mattwire/financialtrxn_payprocid

Add UI metadata for payment_processor_id on financialTrxn

5.31.0 release notes: added late changes

5.31.0 release notes: misc edits

Merge pull request #18907 from alifrumin/2139

dev/core#2139 fix defaulting for multi-select custom fields

Merge pull request #18919 from colemanw/searchKitValidate

Search ext: Fix validation and saving on search admin screen

Civi\Setup\DbUtil Fix CodeStyle

Search ext: Fix validation and saving on search admin screen

Add UI metadata for payment_processor_id on financialTrxn

Merge pull request #18914 from totten/master-auth-client

dev/core#2141 - Add "oauth-client" extension (hidden)

Merge pull request #18864 from demeritcowboy/logz

dev/core#2148 - Incorrect use of ts, quotes, escape in log call

Adds performance improvement when browsing the logs

Merge pull request #18915 from colemanw/entityPaths2

Use standard names for entity paths and add a few more paths

Merge pull request #18910 from totten/master-error-log

CRM_Core_Error::formatFooException - Don't bomb on 'Error'

Use standard names from CRM_Core_Action for entity paths and add a few more paths

For the sake of consistency, this changes the newly-added entity paths to follow the naming convention in CRM_Core_Action:
add/update/view/delete
instead of create/edit/view/delete

Merge pull request #18909 from colemanw/searchDisplay2

Search ext: Add links to search admin and improve links in displays

oauth-client - Add basic UI to inspect/debug JWT-based tokens

dev/core#2141 - AuthorizationCode - Validate that the final return URL is internal

oauth-client - Add menu item ("Admin: System Settings: OAuth")

dev/core#2141 - Basic UI for CRUD'ing clients

oauth-client - Mark extension as hidden

dev/core#2141 - Set prompt=select_account whenever using MailSetup

If you're an admin setting up an email return-channel, then you may not
intend to use your normal email account.  It makes sense to always prompt
for the preferred account.

dev/core#2141 - If a mail-store has an OAuth2 token, then use it

dev/core#2141 - Allow OAuth2 services to define mail setup routine

Overview
--------

For certain types of mail accounts -- such as Google Mail and Microsoft
Exchange Online -- the setup process may require interaction with a remote
web-service.

If you have OAuth2 enabled for one of these services, then this will create
an option for "Add Mail Account".

Before
------

There is no setup procedure.

After
-----

* Navigate to "Administer => CiviMail => Mail Accounts".
* Below the table, there is a select2 box for "Add Mail Account".
* If "Microsoft Exchange Online" is configured, then it will appear in the dropdown. Choose it.
* It redirects to MS to get authorization from the user (OAuth2 Authorization Code).
* The user comes back.
* We initialize a new mail account (`MailSettings` / `civicrm_mail_settings`)
* We accept the code and save the token (`OAuthSysToken`) with the account.
* We redirect to the account configuration form.

Technical Details
-----------------

The new mail account will have some details, such as `server`, `protocol`,
and `username` pre-filled.  This uses a template -- see e.g.
`providers/ms-exchange.dist.json` (`mailSettingsTemplate`).

dev/core#2141 - AuthorizationGrant - Upon return, emit hook & possible redirect

dev/core#2141 - Add support for token-tagging to all grant flows

Suppose you have a downstream app/module -- such as the Civi-IMAP app/module.  It needs to store a notation which says
"this thing in our data" (e.g.  `civicrm_mail_settings`) "corresponds to that token in the OAuth data".

It can put a tag on the token (`tag=civicrm_mail_settings:123`) and use that for lookup

```
$tag = `OAuthSysToken.refresh +w tag=civicrm_mail_settings:123`
```

The advantage of this is that it's simple, flexible, and doesn't require new schema.

Of course, it's not end-all/be-all.  It's OK for 1:1 relationship.  But if
you want 1:M or M:M, then you'll have to model that as something else.  But
for basic usage, tags are simple and moderately flexible.

dev/core#2141 - Add "local-redir" stub for use as OAuth2 "Redirect URL"

If you are developing on a local HTTP system with virtual hosts, then many
OAuth2 services won't recognize it as a local/dev URL.

The "local-redir.sh" script runs a stub service that will be accepted as
a local/dev "Redirect URL".

dev/core#2141 - APIv4 - Add `OAuthClient.clientCredential` authentication

dev/core#2141 - APIv4 - Add `OAuthClient.userPassword` authentication

dev/core#2141 - APIv4 - Add OAuthSysToken.refresh action

dev/core#2141 - APIv4 - Add `OAuthClient.authorizationCode` authentication

dev/core#2141 - Update 'oauth2.league' to respect setting 'oauthClientRedirectUrl'

dev/core#2141 - Add services 'oauth2.league' and 'oauth2.token'

dev/core#2141 - APIv4 - Expands tests for OAuthSysToken

dev/core#2141 - APIv4 - Validate OAuthClient.provider property

dev/core#2141 - APIv4 - Add OAuthClient & OAuthSysToken with unit-test

dev/core#2141 - Schema - Add OAuthClient and OAuthSysToken

Depends on OAuthProvider and permissions ('manage OAuth client' and 'manage OAuth client secrets')

dev/core#2141 - Split OAuthProvider files into subdirs. Use long cache.

dev/core#2141 - APIv4 - Add OAuthProvider.get w/test. Split dist/local/test lists.

dev/core#2141 - Permissions - Define 'manage OAuth client' and 'manage OAuth client secrets'

dev/core#2141 - Add upgrader to skeletal ext/oauth-client

dev/core#2141 - Generate skeletal ext/oauth-client

Make civicrm-setup work with unix-socket as database connection

MailSettings - Add button+API for testing a connection

(NFC) CRM_Mailing_MailStore - Clarify return type

CRM_Core_Error::formatFooException - Don't bomb on 'Error'

PHP 7 updated the class hierarchy for exceptions. The top-level types for exceptions are now:

* class Throwable
* class Error extends Throwable
* class Exception extends Throwable

This patch fixes a problem when logging `Error`s, as in

```php
Civi::log()->warning('There was a problem', [
  'exception' => $e
]);
```

Before
------

If `$e` is an `Error`, it fails to log.

After
-----

It works whether `$e` is an `Error` or `Exception`.

See also: https://www.php.net/manual/en/language.errors.php7.php

Search ext: Add links to search admin and improve links in displays

Merge pull request #18908 from totten/master-composer-oauth

dev/core#2141 - composer.json - Require league/oauth2-{client,google}

a couple problems

composer.lock - Require league/oauth2-{client,google}

composer.json - Require league/oauth2-{client,google}

Note: This oauth2-client matches the constraint that's declared in civixero, which (in my
local copy of `universe`) is the only published extension that uses the same library.

The oauth2-google is included because has special requirements around
'prompt' which conflict with `GenericProvider`. We could potentially resolve that other
ways (eg rework `CiviGenericProvider`), but this seems easier right now.

Merge pull request #18904 from civicrm/5.31

5.31

dev/core#2139 fix defaulting for multi-select custom fields

Merge pull request #18802 from eileenmcnaughton/refs

dev/core#2043 Remove instance of pass-by-ref

Merge pull request #18894 from eileenmcnaughton/cancel

Move call to update related pledges on contribution cancel to extension

Merge pull request #18895 from eileenmcnaughton/ipn

Remove IPN reference to _relatedObjects, deprecate property

Merge pull request #18896 from eileenmcnaughton/ipn2

[Ref] Simplify params

Merge pull request #18900 from eileenmcnaughton/entry

[REF] Simplify use of shared code.

Merge pull request #18903 from eileenmcnaughton/aip2

Remove deprecated code

Merge pull request #18807 from jvos/postProcess-MessageTemplates

Add postProcess hook to MessageTemplates

Merge pull request #18899 from seamuslee001/composer_2x

Update composer-download-plugin to v3.0.0 to support usage of compose…

Merge pull request #18901 from alifrumin/5.31rn

[NFC] 5.31 Release Notes - First Pass

Merge pull request #18897 from eileenmcnaughton/ip3

[REF] Remove silly if

Merge pull request #18902 from totten/master-altermailstore

dev/core#2141 - Add hook_civicrm_alterMailStore

Merge pull request #18898 from seamuslee001/dev_core_2147

dev/core#2147 Switch the groups search field on Simple search back fr…

Update composer-download-plugin to v3.0.0 to support usage of composer 2.x

Remove deprecated code

These few lines have had any meaning removed already....

Merge pull request #18852 from eileenmcnaughton/aip

[Ref] Move sending the email back out of the recur function

dev/core#2141 - Add hook_civicrm_alterMailStore

Overview
--------

The CiviCRM "MailStore" layer is used for importing email messages from
various sources (IMAP, POP3, Maildir, etc).  There is a built-in list with a
handful of drivers (`CRM_Mailing_MailStore_Imap`, etc).

This patch adds a hook for manipulating those drivers.

Before
------

It's not possible for an extension to add a driver, modify a driver, etc.

After
-----

It is now possible to add/modify/replace drivers. Here are two examples.

(1) To supplement the IMAP authentication with a dynamic token for XOAuth2:

```php
function hook_civicrm_alterMailStore(&$mailSettings) {
  if (...$mailSettings requires oauth...) {
    $mailSettings['auth'] = 'XOAuth2';
    $mailSettings['password'] = $myOauthSystem->getToken(...);
  }
}
```

(2) To add a new protocol `FIZZBUZZ`, you would:

1. Register a value in the OptionGroup `mail_protocol`.
2. Create a driver class (eg `CRM_Mailing_MailStore_FizzBuzz` extends `CRM_Mailing_MailStore`)
3. Use the hook to activate the class:

  ```php
  function hook_civicrm_alterMailStore(&$mailSettings) {
    if ($mailSettings['protocol'] === 'FIZZBUZZ') {
      $mailSettings['factory'] = function ($mailSettings) {
        return new CRM_Mailing_MailStore_FizzBuzz(...);
      };
    }
  }
  ```

Technical Details
-----------------

This adds a unit-test with examples of basic/non-hook behavior and hooked behavior.

In reading the diff for `getStore()`, note that it  previously had a long
'switch()' to handle instantiation.  I tried to make the change in a way that
you could see some continuity - e.g. it's still the same basic `switch()`.

The change is to basically wrap the bits inside a function:

* Before: `case 'FOO': return new Foo(...)`
* After: `case 'FOO': return ['factory' => function(...) { return new Foo(...); }]`

5.31 release notes first pass

[REF] Simplify use of shared code.

This function has been sharing 'transitionComponentWithStatusMessage' but in
fact it throws away the status message and the preliminary checks are silly.

This simplifies it so it calls the part of the function it actually does share

Move call to update related pledges on contribution cancel to extension

This moves the functionality over & switches Order api to be entirely relying on the
hook rather than a call to the deprecated transitionComponents function.

[REF] Remove silly if

Checking component AND contributionRecur is silly - the latter will only
be set if relevant so remove the extra if

dev/core#2147 Switch the groups search field on Simple search back from select2 to normal select

[Ref] Simplify params

As with
https://github.com/civicrm/civicrm-core/commit/0d74d91cd340b9f1ea2224119c748e372dffe245

pass the retrieved parameters to the single function rather than the id of the
object retrieved based on them