Merge pull request #18956 from civicrm/5.32

5.32

Merge pull request #18958 from alifrumin/5.32rn

[NFC ] 5.32 Release Notes - first pass

5.32 release notes

Merge pull request #18955 from totten/5.32-oauth-return

dev/core#2141 - Tighten up new page `civicrm/oauth-client/return`

dev/core#2141 - Tighten up new page `civicrm/oauth-client/return`

Overview
--------

The route `civicrm/oauth-client/return` is added in 5.32 as the main "Redirect URL".

In normal usage, the page shouldn't be visible to a user (because the
developer should define some alternative UI) -- but one might see it (a)
during development, (b) if there's an error, or (c) if a clever user mucks
about.

Improvements:

* Error handling
    * Present error messages more nicely
    * Record errors in the log
    * Report more info via hook_oauthReturnError
* Other UI
    * Redact token details (dependent upon permission `manage OAuth client secrets`)
    * Set a more sensibile page title
    * Make output blobs conditional and collapsible

Merge pull request #18948 from aydun/core#2172

core#2172 - Fix 'Find Respondents' in CiviCampaigns

Merge pull request #18953 from civicrm/5.32

5.32

Merge pull request #18951 from totten/5.32-ms-imap

dev/mail#79 - Fix MS Exchange/IMAP. Use OpenID Connect.

dev/mail#79 - Use OpenID Connect with MS Exchange

At time of writing, there appears to be a problem in Microsoft's services:
if you request both `User.Read` and `IMAP.AccessAsUser.All`, then the token
does not actually work for IMAP access.

However, it is does work to combine `openid` and `IMAP.AccessAsUser.All`.

This patch revises the MS Exchange definition to get resource-owner details
via OpenID Connect's `id_token`.

dev/mail#79 - Add option to get resource-owner via OpenID Connect

At time of writing, there appears to be a problem in Microsoft's services:
if you request both `User.Read` and `IMAP.AccessAsUser.All`, then the token
does not actually work for IMAP access.

However, it is does work to combine `openid` and `IMAP.AccessAsUser.All`.

This patch to CiviGenericProvider makes it easier to get resource-owner
details via OpenID Connect's `id_token`.

Merge pull request #18949 from colemanw/legacyAutocomplete

APIv3 - Fix legacy handling for html_type Autocomplete-Select

Fix legacy handling for html_type Autocomplete-Select

Legacy handling was returning "Autocomplete-Multi-Select" which was never a real html_type.

Fix SQL

Merge pull request #18946 from eileenmcnaughton/if

Remove always true if

Merge pull request #18947 from eileenmcnaughton/pps

dev/financial#148 dev/financial#148 Copy contents of validateDate onto paypalIPN

Merge pull request #18819 from eileenmcnaughton/import

Minor code cleanup - dedupe isNull checks

dev/financial#148 Copy contents of validateDate onnto paypalIPN

This code isn't really that shared & it can be simplified by NOT sharing it

Remove always true if

By the time the code reaches this point contributionParams['contribution_recur_id']
must be set. We can confirm this by the fact the call to getTemplateContribution
requires id to be passed in and uses it in a lookup. Also the
code just before repeatTransaction ensures it is called

Merge pull request #18934 from eileenmcnaughton/aip

Remove always-true if

Merge pull request #18935 from eileenmcnaughton/pps

[REF] Minor variable cleanup

Merge pull request #18936 from eileenmcnaughton/ppp

[Ref] Use variables directly

Merge pull request #18944 from civicrm/5.32

5.32

Merge pull request #18945 from agh1/5.32.0-releasenotes-fixedinitial

5.32.0 release notes initial run

5.32.0 release notes: added boilerplate

5.32.0 release notes: raw from script

Merge pull request #18943 from totten/5.32-token-inspect

dev/core#2141 - Multiple revisions to new screen for inspecting OAuth tokens

Merge pull request #18942 from civicrm/5.32

5.32

dev/core#2141 - Multiple revisions to new screen for inspecting OAuth tokens

Overview
--------

5.32 adds `oauth-client`, which includes a screen for inspecting OAuth
tokens.  This is intended to facilitate debugging.

Before
------

* The screen works for inspecting one token. It offers a button to inspect other tokens, but it doesn't work.
* The screen only shows the `access_token` (and its JWT variant)

After
-----

* The malfunctioning button isn't needed. Remove it.
* The screen shows a full record of the token details. This should make it even more useful for debuggin.

Merge pull request #18940 from seamuslee001/5.32

[REF] Update composer patches to 1.7.0 to support composer 2.x

[REF] Update composer patches to 1.7.0 to support composer 2.x

Set version to 5.33.alpha1

Set version to 5.32.beta1

Merge pull request #18868 from sunilpawar/logging_date

get log date from tables available in query with data instead of last table

Merge pull request #18851 from ixiam/dev_issue#2142

Adds performance improvement when browsing the report logs

Merge pull request #18913 from tvartom/master

Make civicrm-setup work with a unix-socket for database connection

Merge pull request #18932 from colemanw/schemaHandler

Schema handler fixes

[Ref] Use variables directly

[REF] Minor variable cleanup

This continues the process of using the variables we have loaded within the IPN
rather than those that were loaded onto objects FROM the ones loaded in this IPN

Remove always-true if

AuthorizeNet ipn is only called from
CRM_Core_Payment_AuthorizeNet::handlePaymentNotification and the deprecated

AuthorizeNetIPN file in extern

(and tests)

No parameter is ever passed to the function so component is always
'contribute' & hence we can stop checking it & remove the IF that checks it

Merge pull request #18931 from seamuslee001/master

5.31

Merge in 5.31

Merge pull request #18925 from totten/5.31-revert-titlereq

dev/translation#58 - Fix regression. Partially revert schema for civicrm_group.title

CustomField - simplify tableName lookup during bulkSave and fix bug

This cleans up the tableName lookup to use the method used throughout this class.
The extra optimization (local caching in the $tables variable) was actually less efficient
because CRM_Core_DAO::getFieldValue caches its results, and is used elsewhere so the value
is likely to already be cached.

The bug is that the same table name was repeatedly being passed into $logging->fixSchemaDifferencesFor().

SchemaHandler - Remove unused/deprecated function

Merge pull request #18930 from MegaphoneJon/financial-156

closes financial/#156: Set contribution status to refunded even if cancelled_payment_id is set

closes financial/#156: Set contribution status to refunded even if cancelled_payment_id is set

Merge pull request #18928 from demeritcowboy/left-right-up-down

dev/core#2167 - Fulltext search drupal block has button on wrong side

Merge pull request #18927 from demeritcowboy/del-mail

dev/core#2166 - E_NOTICE when deleting mail account

button placement on fulltext search drupal block

avoid notice / skip validation when deleting

dev/translation#58 - 5.31.beta2 - Undo 'NOT NULL'

Set version to 5.31.beta2

dev/translation#58 - Partially revert schema for civicrm_group.title

Merge pull request #18911 from totten/master-mail-test

dev/mail#2141 - MailSettings - Add button+API for testing a connection

Merge pull request #18923 from civicrm/5.31

5.31 to master

Merge pull request #18921 from agh1/5.31.0-releasenotes-final

5.31.0 release notes final

Merge pull request #18917 from mattwire/financialtrxn_payprocid

Add UI metadata for payment_processor_id on financialTrxn

5.31.0 release notes: added late changes

5.31.0 release notes: misc edits

Merge pull request #18907 from alifrumin/2139

dev/core#2139 fix defaulting for multi-select custom fields

Merge pull request #18919 from colemanw/searchKitValidate

Search ext: Fix validation and saving on search admin screen

Civi\Setup\DbUtil Fix CodeStyle

Search ext: Fix validation and saving on search admin screen

Add UI metadata for payment_processor_id on financialTrxn

Merge pull request #18914 from totten/master-auth-client

dev/core#2141 - Add "oauth-client" extension (hidden)

Merge pull request #18864 from demeritcowboy/logz

dev/core#2148 - Incorrect use of ts, quotes, escape in log call

Adds performance improvement when browsing the logs

Merge pull request #18915 from colemanw/entityPaths2

Use standard names for entity paths and add a few more paths

Merge pull request #18910 from totten/master-error-log

CRM_Core_Error::formatFooException - Don't bomb on 'Error'

Use standard names from CRM_Core_Action for entity paths and add a few more paths

For the sake of consistency, this changes the newly-added entity paths to follow the naming convention in CRM_Core_Action:
add/update/view/delete
instead of create/edit/view/delete

Merge pull request #18909 from colemanw/searchDisplay2

Search ext: Add links to search admin and improve links in displays

oauth-client - Add basic UI to inspect/debug JWT-based tokens

dev/core#2141 - AuthorizationCode - Validate that the final return URL is internal

oauth-client - Add menu item ("Admin: System Settings: OAuth")

dev/core#2141 - Basic UI for CRUD'ing clients

oauth-client - Mark extension as hidden

dev/core#2141 - Set prompt=select_account whenever using MailSetup

If you're an admin setting up an email return-channel, then you may not
intend to use your normal email account.  It makes sense to always prompt
for the preferred account.

dev/core#2141 - If a mail-store has an OAuth2 token, then use it

dev/core#2141 - Allow OAuth2 services to define mail setup routine

Overview
--------

For certain types of mail accounts -- such as Google Mail and Microsoft
Exchange Online -- the setup process may require interaction with a remote
web-service.

If you have OAuth2 enabled for one of these services, then this will create
an option for "Add Mail Account".

Before
------

There is no setup procedure.

After
-----

* Navigate to "Administer => CiviMail => Mail Accounts".
* Below the table, there is a select2 box for "Add Mail Account".
* If "Microsoft Exchange Online" is configured, then it will appear in the dropdown. Choose it.
* It redirects to MS to get authorization from the user (OAuth2 Authorization Code).
* The user comes back.
* We initialize a new mail account (`MailSettings` / `civicrm_mail_settings`)
* We accept the code and save the token (`OAuthSysToken`) with the account.
* We redirect to the account configuration form.

Technical Details
-----------------

The new mail account will have some details, such as `server`, `protocol`,
and `username` pre-filled.  This uses a template -- see e.g.
`providers/ms-exchange.dist.json` (`mailSettingsTemplate`).

dev/core#2141 - AuthorizationGrant - Upon return, emit hook & possible redirect

dev/core#2141 - Add support for token-tagging to all grant flows

Suppose you have a downstream app/module -- such as the Civi-IMAP app/module.  It needs to store a notation which says
"this thing in our data" (e.g.  `civicrm_mail_settings`) "corresponds to that token in the OAuth data".

It can put a tag on the token (`tag=civicrm_mail_settings:123`) and use that for lookup

```
$tag = `OAuthSysToken.refresh +w tag=civicrm_mail_settings:123`
```

The advantage of this is that it's simple, flexible, and doesn't require new schema.

Of course, it's not end-all/be-all.  It's OK for 1:1 relationship.  But if
you want 1:M or M:M, then you'll have to model that as something else.  But
for basic usage, tags are simple and moderately flexible.

dev/core#2141 - Add "local-redir" stub for use as OAuth2 "Redirect URL"

If you are developing on a local HTTP system with virtual hosts, then many
OAuth2 services won't recognize it as a local/dev URL.

The "local-redir.sh" script runs a stub service that will be accepted as
a local/dev "Redirect URL".

dev/core#2141 - APIv4 - Add `OAuthClient.clientCredential` authentication

dev/core#2141 - APIv4 - Add `OAuthClient.userPassword` authentication

dev/core#2141 - APIv4 - Add OAuthSysToken.refresh action

dev/core#2141 - APIv4 - Add `OAuthClient.authorizationCode` authentication

dev/core#2141 - Update 'oauth2.league' to respect setting 'oauthClientRedirectUrl'

dev/core#2141 - Add services 'oauth2.league' and 'oauth2.token'

dev/core#2141 - APIv4 - Expands tests for OAuthSysToken

dev/core#2141 - APIv4 - Validate OAuthClient.provider property

dev/core#2141 - APIv4 - Add OAuthClient & OAuthSysToken with unit-test

dev/core#2141 - Schema - Add OAuthClient and OAuthSysToken

Depends on OAuthProvider and permissions ('manage OAuth client' and 'manage OAuth client secrets')

dev/core#2141 - Split OAuthProvider files into subdirs. Use long cache.

dev/core#2141 - APIv4 - Add OAuthProvider.get w/test. Split dist/local/test lists.

dev/core#2141 - Permissions - Define 'manage OAuth client' and 'manage OAuth client secrets'

dev/core#2141 - Add upgrader to skeletal ext/oauth-client

dev/core#2141 - Generate skeletal ext/oauth-client

Make civicrm-setup work with unix-socket as database connection

MailSettings - Add button+API for testing a connection

(NFC) CRM_Mailing_MailStore - Clarify return type