Merge branch '5.31' into master

Merge pull request #18712 from eileenmcnaughton/locev3

dev/core#1879 Fix inconsistent ability to view event information

Merge pull request #18867 from sunilpawar/sms_provider

Show only Active SMS provider List on Mass SMS form

Merge pull request #18873 from colemanw/title_plural

APIv4 - Fix nonstandard camelCase of title_plural field

Merge pull request #18872 from seamuslee001/dev_core_2150

dev/core#2150 Re-enact the recapture validation by validating the res…

APIv4 - Fix nonstandard camelCase of title_plural field

dev/core#2150 Re-enact the recapture validation by validating the response token on recapture

Ensure the form rule is actually triggered not just registered

Merge pull request #18871 from totten/master-api-single

APIv4 - Add `$result->single()` helper

Merge pull request #18870 from totten/master-api-al

ClassLoader - Fix autoloading of `API_Exception`

APIv4 - Add $result->single() helper

ClassLoader - Fix autoloading of API_Exception

Merge pull request #18306 from mattwire/refactororderapientityparams

Refactor entityParams in Order.Create API so it is easier to understand/modify

Merge pull request #18840 from yashodha/activity_report

(core/dev#2104) Add gender column for target contact to activity report

Merge pull request #18853 from eileenmcnaughton/base

dev/core#927 Move cancelling of related memberships to extension from BaseIPN

Merge pull request #18849 from eileenmcnaughton/finacl2

Move filtering of unpermitted options for reports/ search select to financialacl extension

Show only Active SMS provider List on Mass SMS form

Move filtering of unpermitted options for reports/ search select to financial acl extension

Merge pull request #18862 from demeritcowboy/mb-substr

dev/core#2146 - Long unicode contact names get truncated badly causing a crash

Merge pull request #18860 from colemanw/fixEncode

APIv4 - Fix type coersion of non-string input

Merge pull request #18856 from eileenmcnaughton/int_amount

Remove meaningless legacy code

truncate unicode strings better

Merge pull request #18859 from masetto/italian_provinces

updated italian provinces (CRM-5048)

Merge pull request #18861 from civicrm/5.31

5.31

Merge pull request #18792 from eileenmcnaughton/status2

Fix campaign_id handling for batch entry

Merge pull request #18857 from eileenmcnaughton/sort2

dev/core#2132 Fix for sort on search results

Refactor entityParams in Order.Create API so it is easier to understand/modify

dev/core#2132 Fix for sort on search results

Simpler fix - accept bad sql but catch it :-(

Ideally we would always be in exception mode

APIv4 - Fix type coersion of non-string input

Merge pull request #18808 from jvos/set-id-postProcess-mailing-Component

Set id after save for the mailing component in the postProcess

updated italian provinces (CRM-5048)

updated italian provinces (CRM-5048)

Set id after save for the mailing component in the postProcess

Added comment and removed whitespace

Removed empty line.

Remove meaningless legacy code

I looked around & I am pretty sure int_amount is never set and init_amount is never used

Merge pull request #18848 from eileenmcnaughton/finacl

Move CRM_Member_BAO_MembershipType::getPermissionedMembershipTypes to financial acl extension

Fix campaign_id handling for batch entry

Fixes a bug whereby campaign_id is not updated on batch entry if it has been added to the profile.

The underlying issue appears to be an  attack of copy and paste. I tidied up the variable
in both the places that call the processMembership function such that it is passed in
as an array of pass-through params. The function can be simplified & eventually removed.

Merge pull request #18745 from seamuslee001/backdrop_session

backdrop#116 Override sessionStart function and use backdrop function…

dev/core#927 Move cancelling of related memberships to extension from BaseIPN

This moves the code to cancel memberships on a related contribution cancel to the contributioncancelactions
core extension.

Before

The cancellations are done using convoluted & elsewhere duplicated logic in BaseIPN
using convoluted input params

After
When a contribution is updated & the status_id of 'Cancellled' is set then
the hook will kick in, look for any related pending memberships and cancel them.
The test demonstrates that the api call will ensure related pending memberships
are cancelled.

Note that I am using line_items table to get the membership - we have been storing this
membership_payment link there for log enough it should be reliable but if there
are remaining data issues then this is a lower risk flow to flush them out.

Also note that once this is cleaned up I'll move to the 2 other flows I'm aware of
Order.create api & Contribuion form edits

Merge pull request #18842 from ixiam/dev-#2138

Get phone_type by name. dev/core#2138

Merge pull request #18850 from aydun/user-interface#34

dev/user-interface#34 Replace <th> with <td> on ContributionPage configuration Amount tab

Merge pull request #18835 from eileenmcnaughton/aip

dev/financial#152 [REF] Clean up interaction with contribution recur object

Merge pull request #18813 from eileenmcnaughton/base

dev/core#927 preliminary cleanup

Replace <th> with <td> on ContributionPage Amount tab

Get phone_type by name. dev/core#2138

Move financialacl code from buildMembershipTypeValues to hook

Unit test for financial acl CRM_Member_BAO_MembershipType::getPermissionedMembershipTypes function

Merge pull request #18846 from eileenmcnaughton/ornery

dev/core#2029 exclude ornery test

Merge pull request #18837 from eileenmcnaughton/minor

[REF] Determine values where they are needed rather than passing them  around (in tested function)

[REF] Determine values where they are needed rather than passing them around

The membershipTypes array is constructed, but barely used. One place it is used
is in this function - which is explictly tested by CRM_Member_Form_MembershipTest::testSubmit

This fixes it to get the values when needed rather than construct a variable miles away from
where it is used - no more pass the parcel

Merge pull request #18847 from civicrm/5.31

5.31 to master

Merge pull request #18799 from deb1990/CPS-332-support-new-button-markup

CPS-332: Button markup fix in PremiumBlock.tpl

Merge pull request #18843 from bluehorndigital/dev/core-2140

dev/core#2140 Fix site path for Drupal 8 and 9

dev/core#2029 exclude ornery test

E2E.Core.PrevNextTest.testDeleteByCacheKey

dev/core#2140 Fix site path for Drupal 8 and 9

This fixes hardcoded assumptions of the site path. This breaks testing
integration, which has sites in a subdirectory of `simpletest`

Merge pull request #18839 from civicrm/5.31

5.31

(core/dev#2104) Add gender column for target contact to activity report

Merge pull request #18821 from eileenmcnaughton/531im

dev/membership#30 switch Membership import to use the v3 api

Merge pull request #18836 from civicrm/5.31

5.31

Merge pull request #18834 from demeritcowboy/file-add

Fix deprecated passing of string attributes to CRM_Core_Form::add for contact import

Merge pull request #18831 from seamuslee001/dev_core_2136

dev/core#2136 Fix the loading of groups on the contact Individual screen

Merge pull request #18820 from eileenmcnaughton/531

More buttonrama fallout

[REF] Clean up interaction with contribution recur object

It we look in getIDS and through that to getContributionObject we can see that an exception
is thrown if there is no valid recurring contribution object (A.net only does IPNs for recurring).

This removes a bunch of condition ifs around it's presence and also uses the object more consistently

Merge pull request #18829 from eileenmcnaughton/aip

[REF] Minor extraction

deprecated string

Merge pull request #18826 from eileenmcnaughton/extract

Remove a few lines of deprecated code

Fix the loading of groups on the contact Individual screen

More buttonrama fallout

Merge pull request #18827 from yashodha/activity_report

(core/dev#2104) Add birth date column for target contact to activity …

Minor extraction

dev/core#927 preliminary cleanup

This just splits out the (I believe unreachable) 'no contribution id flow'
and makes it clear the mystical addRecurLineItems is part of that flow - in
preparation for
moving handling to the cancelcontributionactions extension

Merge pull request #18825 from seamuslee001/en2

[REF] Include contributioncancelactions extension in dismaker and reg…

Merge pull request #18814 from eileenmcnaughton/recur_out

dev/core#927 Remove code to update recur on cancel & fail where there is no recur

Merge pull request #18746 from eileenmcnaughton/aip

[REF] Extract handling for loading contribution recur object.

(core/dev#2104) Add birth date column for target contact to activity report

Remove a few lines of deprecated code

Merge pull request #18818 from civicrm/5.31

5.31

Merge pull request #18822 from totten/master-prevnexttest

(NFC) dev/core#2029 - Make assertions in PrevNextTest more skimmable

[REF] Include contributioncancelactions extension in dismaker and regenerate civicrm_generated

Merge pull request #18740 from eileenmcnaughton/hook

dev/core#2115 Move some more financialacl code to a hook within the extension

dev/membership#30 switch Membership import to use the v3 api

ITturns out the addition of a unique name at some point caused is_override not to be passed in
inn a way the BAO recognises - the api has handling for this...

(NFC) dev/core#2029 - Make assertions in PrevNextTest more skimmable

Overview
--------

The test appears to have a random failure. Making it more readable may help figure out why.

Before
------

`testDeleteByCacheKey()` and the related `testFillArray()` both have some assertions in these two forms:

```
// Form #1, more verbose
$all = ...getSelections($cacheKey, $action);
$this->assertEquals([...expected...], array_keys($all)...);

// Form #2, more pithy
$this->assertSelections([...expected...], $action, $cacheKey);
```

After
-----

The verbose form is replaced with the pithier form.

In the pithier form, some of the default inputs are made explicit.

Comment
-------

It is confusing that the method `getSelections()` has a parameter `$action`
which can be `get` or `getall` -- and that `getall` does not (in fact) return
selections.  It returns all!  (The fact that the contract is weird makes the
unit-test helpful imho...)

Merge pull request #18815 from eileenmcnaughton/recursoft

dev/financial#152 move code only relevant to repeattransaction into that function

Merge pull request #18812 from eileenmcnaughton/en

dev/core#927 Enable contribution cancel actions extension

Merge pull request #18817 from seamuslee001/5-30-1-notes

release-notes/5.30.1.md

release-notes/5.30.1.md

Merge pull request #18805 from eileenmcnaughton/date

Rationalise date formatting

Enable contribution cancel actions

Once completed this extension will be unhidden and available to disable

Merge pull request #18811 from colemanw/savedSearchIndex

SavedSearch: add UI_name index to upgrade script

dev/financial#152 move code only relevant to repeattransaction into that function

Per https://github.com/civicrm/civicrm-core/pull/18814 I dug into this addRecurSoftCredits and
it simply copies soft credits from the first transaction in the series to the new one. As such
it belongs in repeattransaction not the main body of completeOrder

dev/core#927 Remove code to update recur on cancel & fail

I've been racking my brains as to why we do this and it just feels like copy & paste that has survived forever

This code is called only from the 2 PaypalIPN classes. In both cases the classes follow the same flow - ie

if the payment is part of a recurring series, then call recur
if the payment is NOT the first in the series then call repeattransaction
only proceed to the 'single' function if we are confirming the
first recurring payment or it is not recurring

This means the cancelled & failed functions can only be reached when the flow is not
recurring OR the payment is the first - in neither case does it make sense to copy date
from one payment in the series to others - I'm pretty sure this precedes many many code changes

Merge pull request #18786 from eileenmcnaughton/cancelextwtest

dev/core#927 add first test on cancel

SavedSearch: add UI_name index to upgrade script

Merge pull request #18806 from eileenmcnaughton/constant

Update CRM_Utils_Constant::value to support env variables

Merge pull request #18804 from eileenmcnaughton/manual

Declare support for cancelRecurring in manual processor

Add initial test to the new extension

I made a small change to support the test - causing Membership.create not to set the
stattus_id if it is specified.

Merge pull request #18803 from eileenmcnaughton/canceltest

Remove always-true IF

Merge pull request #18784 from eileenmcnaughton/cancelext

dev/core#927 Add shell extension to move contribution cancel actions into

Rationalise date formatting

This came out of discovering a place in the code was 'accidentally formatted correctly'
and finding it far too hard to figure out the right way to specify the date formatting -
something that seems confirmed by finding various places with hard-coded date formattin
rather than using the setting

Merge pull request #18809 from colemanw/savedSearchName

SavedSearch - Add name and label columns

SavedSearch - Add name and label columns

Update CRM_Utils_Constant::value to support env variables

This is something I discussed with @totten earlier but as the rc was being cut at the time
we went for the more conservative approach of only adding env support to thhe debug_query
function.  This extends to all defines - meaning they can be defined at the script level e.

env CIVICRM_DEBUG_LOG_QUERY=backtrace drush cvapi

(that already works)