Merge pull request #17951 from eileenmcnaughton/export_im

[REF] Simplify location metadata handling in Export class

Merge pull request #18059 from civicrm/5.28

5.28

Merge pull request #18053 from seamuslee001/test_ports

[NFC] Port some recent test fixes from master to 5.28

Merge pull request #18057 from eileenmcnaughton/single

[REF] Do not pass by reference to the recur function

(REF) WebsiteTest - Mitigate flaky failures

Overview
--------

In recent days, api_v3_WebsiteTest has emitted sporadic failures like this:

```
api_v3_WebsiteTest::testDeleteWebsite with data set #0 (3)
Failed asserting that 3 matches expected 0.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:75
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

and

```
api_v3_WebsiteTest::testDeleteWebsiteInvalid with data set #0 (3)
Failed asserting that 4 matches expected 1.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:88
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

These failures do not reproduce for me in isolation.

Before
------

Both the failing assertions make an implicit assumption that the baseline content of `civicrm_website` is empty.

After
-----

The failing assertions use an explicit baseline (`$beforeCount`).

Comments
--------

The test failures are sporadic and only seem to seem occur when run in the full suite.

My theory is that something else is leaking `civicrm_website` records;
however, it's hard to track that down amidst a full suite (when the full
suite takes so long to execute).  Therefore, I cannot be certain that this
is actually fixes the problem.  However, this really just tightens up the
assumptions of the test - as long as it passes the PR tests, it should be
safe to merge and then watch in the `CiviCRM-Core-Matrix`.

Merge pull request #18051 from demeritcowboy/member-status

[REF] Simplify getMembershipStatusByDate more

[REF] Do not pass by reference to the recur function

This is called twice (from with the same file). In both cases the calling function exits straight after
without using or returning the value and the calling function has not itself received them by reference

Merge pull request #17993 from eileenmcnaughton/mm

Fix obscure dedupe scenario where 'bad' location data can overwrite good data

Merge pull request #17915 from demeritcowboy/useradd-messages

dev/drupal#127 - require email for the Useradd task and errors not showing

Fix for failing test

BY ensuring join_date is in the past we get away from situations where there is no valid status

re-re-fix test

Re-fix test

The strtotime calculation adds 4 months before setting the day of month. However

July 31 + 4 months is 1 Dec - ie the month is 12 not 11 due to there being only 30 days. So to
get 27 Nov we need to get the July month (7) and add 4 and voila 11, not 12

update failing test

make test less time-sensitive

api_v3_TaxContributionPageTest fix - remove hard coded processor id

Merge pull request #18025 from eileenmcnaughton/isotosql

dev/core#1921 [Ref] remove isoToMysql

Merge pull request #18052 from seamuslee001/master

dev/core#1665 Remove the having clause as well as having needs a group by

Remove the having clause as well as having needs a group by

Merge pull request #16877 from agileware/CIVICRM-1457

Remove ORDER BY and GROUP BY from alphabetQuery to improve performance

simplification and add more test

Merge pull request #17937 from seamuslee001/radio_jquery_require

Fix JQuery Validation for radios

Merge pull request #18030 from eileenmcnaughton/fail

[REF] Simplify membership status date handling

Merge pull request #18044 from eileenmcnaughton/pprefs

Fix PaypalIPN single function to not receive-by-reference

Merge pull request #18018 from eileenmcnaughton/cont_status

Remove requirement to pass 'contribution_status_id' => Pending from order.create

Merge pull request #18032 from eileenmcnaughton/single

[REF] Clean up handling of financial_type_id override

Merge pull request #18033 from eileenmcnaughton/cont_id

Use saved contribution's line items rather than the primaryContributionID

Merge pull request #18046 from eileenmcnaughton/trans

[REF] Remove transaction from completeOrder signature

Merge pull request #17966 from pradpnayak/divwrap

Wrap multi record custom field inside a div

[REF] Clean up handling of financial_type_id override

Currently we use the primaryContributionID to determine whether the templateContribution will
have more than one line item & unset the parameter. It makes much more sense to do evaluations
on how many line items the template contribution will have when we have loaded it's line items.

The logic is that the financial_type_id can be overriden either by editing the recurring contribution
(which you are permitted to do if only one line item exists) or by passing it in via input (which
is ignored if there is more than one line item.

This change ensures the input parameter reaches repeatTrannsaction - which is the appropriate
place to determine whether to apply it.

It removes one of 2 places that refers to primaryContributionID. The other is also inappropriate
as it is basically used to look up the line items to see the number of terms for the membership. However,
we already know that for any repeat transactions as we have already loaded the line items. In
completeOrder the line items are that of the contribution being saved.

We could pass the saved contribution id into this function as a quick way to eliminate the primaryContributionID
or we could just determine num_terms rather than primaryContributionID earlier on

Merge pull request #18045 from eileenmcnaughton/sleep

[Test fix] We might need this to ensure really quick test runs don't fail

[REF] Remove transaction from completeOrder signature

It is no longer passed in

Merge pull request #17706 from demeritcowboy/mysql-ssl-alt

dev/core#1137 - Allow ssl connection to mysql by specifying in DSN

Merge pull request #18038 from eileenmcnaughton/perm_test

Test - attempt to replicate #17852

Merge pull request #18042 from eileenmcnaughton/transact

[REF] Remove transaction from BaseIPN completeTransaction call

Merge pull request #17700 from ixiam/dev-#1843

Remove url-tracking in mass sms. dev/core#1843

Merge pull request #17972 from eileenmcnaughton/matt_another

Do not overwrite values saved from the repeatContribution routine

Merge pull request #18043 from demeritcowboy/liar-fields

dev/core#1916 - Fix naming of case export fields / remove ones that aren't true

Merge pull request #17824 from colemanw/checks

SystemCheck: add ability to efficiently run only specified checks

[Test fix] We might need this to ensure really quick test runs don't fail

Fix PaypalIPN single function to not receive-by-reference

The function is called from 2 places
- main
- recur

In both cases it is at the end of the function & so the vars, if altered, are not used again.
In the case of main they are internal to the function whereas for recur they are not returned to the
calling function

Fix naming of fields /remove ones that aren't true

[REF] Remove transaction from BaseIPN completeTransaction call

This is now never passed in

Fix code to not overwrite source contribution - unit test for 17455

Merge pull request #18028 from eileenmcnaughton/anet

Add testing to Authorize.net and remove the lines that are repeated

Merge pull request #18037 from eileenmcnaughton/status_check

Add test on status calculation

Merge pull request #18041 from demeritcowboy/status-type-whats-the-diff

Fix qill typo

fix qill typo

Remove requirement to pass 'contribution_status_id' => Pending from order.create

contribution_status_id is a required param, but the only acceptable value is Pending. Let's make it optional.....

Merge pull request #18015 from demeritcowboy/resubscribe-missing

dev/core#1919 - Missing resubscribe url in text/plain version of unsubscribe confirmation email

Merge pull request #18029 from eileenmcnaughton/sendmail

[Ref] Simplify is_email_receipt in sendMail

Merge pull request #17912 from eileenmcnaughton/flex2

Update flexmailer release information

Use saved contribution's line items rather than the primaryContributionID

By the time we reach this point in the code we know that
1) the contributon exists and it has an id
2) it has line items  - either those created in it's pending stage or those calculated in repeattransaction

Therefore we can reasonably assume these line items are accurate now and use them, rather than the confusing
primaryContributionID that we have doubts about the validity of

Merge pull request #18019 from eileenmcnaughton/event_clean

[REF] [Test] Minor simplification on test

Test - attempt to replicate #17852

Add testing to Authorize.net and remove the lines that are repeated

In Authorize.netIPN updates are made to the contributionRecur that are later made in ContributionRecur::updateOnNewPayment

This adds test cover to ensure no change and then removes them.

With these lines gone it's apparent that the transaction is not required here

Merge pull request #17943 from jitendrapurohit/core-1906

dev/core#1906 - Allow payment create api to record payment on Failed …

Fix obscure dedupe scenario where 'bad' location data can overwrite good data

Our api permits the creation of addresses with no actual address-related data. I'm not sure this is a good
thing but one way or another some addresses got into our database with no useful information and I'm not convinced we
are alone.

When merging it's possible for a null address record to be treated as 'not a conflict' with an address record
with the same location but actual data, and for the null record to be retained. This fixes it such that in that
scenario the retained record is the one with data.

This is pretty obscure and an argument could be made for not fixing it. On the other hand this extends tests on the code
(in addition to the fairly extensive set in testBatchMergesAddresses) and I also did a few tangental cleanups

Merge pull request #18036 from eileenmcnaughton/exp_test

Fix for failing test

Add test on status calculation

Fix for failing test

BY ensuring join_date is in the past we get away from situations where there is no valid status

Merge pull request #18031 from mattwire/crmmoney

Remove invalid use of crmMoney formatter

[REF] [Test] Minor simplification on test

This is towards standardising on one way to reference created entities -ie

->ids['Participant'][key] = 4

missing resubscribe url

Remove invalid use of crmMoney

Merge pull request #18010 from eileenmcnaughton/pex

Remove main PaymentExpress class

[REF] Simplify membership status date handling

We have a test error coming out of this code. I find it unreadable - I think this would help....

There are some obvious next steps if this is all good

Merge pull request #18026 from eileenmcnaughton/pptrans

[Ref] Remove transaction instantiation in PaypalPro

[Ref] Simplify is_email_receipt in sendMail

This function has evolved through refactoring so there was a time when this code needed to decide whether to
send emails out or not. However, the function is now called more deliberately -ie
1) from completeTransaction - where it is only called if the decision to send an email is made
2) from the search action send Email receipts - where a user has made the decision to send (or pdf)
receipts and unless it's being called with returnMessageText = TRUE (to construct a pdf) then
send makes sense

Ergo we should send unless returnMessageText = TRUE

dev/core#1921 [Ref] remove isoToMysql

It used to be necessary (until maybe 5 years ago) to reformat retrieved date params before re-saving

https://lab.civicrm.org/dev/core/-/issues/1921

[Ref] Remove transaction instantiation in PaypalPro

The transaction is an optional param & we are not doing any saves so let's take the option to not pass it in...

Merge pull request #18020 from eileenmcnaughton/pptrans

[REF] Stop instantiating transaction in PaypalIPN

Merge pull request #18021 from eileenmcnaughton/ids_billing

Remove unused parameter ids['billing']

Merge pull request #18023 from civicrm/5.28

5.28 to master

Merge pull request #18017 from seamuslee001/dev_mail_72

dev/mail#72 Remove call to custom fatal error handler from CRM_Core_E…

Merge pull request #17999 from eileenmcnaughton/sql_cache

Cache loader - remove legacy handling, handle null result from setting

Remove unused parameter ids['billing']

This is no longer used in later functions and a quick grep of the code finds only one deprecated
function still refers to ids-billing after this

[REF] Stop instantiating transaction in PaypalIPN

Merge pull request #18001 from mattwire/inform-icon

Change inform-icon to fa-info-circle

Merge pull request #17984 from eileenmcnaughton/sendref

[REF] Remove pass-by-reference & always empty param

Merge pull request #17990 from totten/master-bao-cache-adapter

CIVICRM_BAO_CACHE_ADAPTER - Remove obsolete option

Merge pull request #18012 from demeritcowboy/utf8mb4-temptable

SQL temp table not using utf8mb4 if server default already set to utf8mb4

Merge pull request #17996 from demeritcowboy/wrong-link-pcp-domain

Wrong link to admin page in error message about FROM address on PCP page

Merge pull request #17923 from eileenmcnaughton/dedupe_return

[REF] Tighten up function signature for dedupePair

dev/mail#72 Remove call to custom fatal error handler from CRM_Core_Error::debug_log_message

Merge pull request #17982 from eileenmcnaughton/isreceipt

[Ref] Move noisily deprecate  BaseIPN->sendMail, call api from it rather than BAO function

Merge pull request #17396 from seamuslee001/use_util_mail_events

[REF] Use CRM_Utils_Mail::send for sending emails for confirming unsu…

CIVICRM_BAO_CACHE_ADAPTER - Remove obsolete option

Overview
--------

The constant `CIVICRM_BAO_CACHE_ADAPTER` was a low-visibility transitional
option added during early 5.x.  It facilitated the deprecation of
`CRM_Core_BAO_Cache` (in favor of `Civi::cache()`).  The option allowed
certain builds/configurations to be tested in a "purer" configuration where
`Civi::cache()` handled all storage.

However, following #17989, the deprecated functions no longer exist.  Hence,
there's no need for transitional mechanism to support them.  The
replacements are now mainline.

Before
-------

There's some obsolete stuff hanging around.

After
-----

The obsolete stuff is taking a long walk to the moon.

Merge pull request #17989 from eileenmcnaughton/cache_deprecate

CRM_Core_BAO_Cache - Remove functions deprecated a year ago

Merge pull request #18011 from totten/5.28-tbl

FiveTwentyEight - Provide concrete details about civicrm.files

Merge pull request #18013 from demeritcowboy/fix-fix-test-test

[Test framework] re-re-fix test and add test for test

re-re-fix test

temptable not using utf8mb4 if server default already set

Change inform-icon to fa-info-circle

FiveTwentyEight - Provide concrete details about civicrm.files

This hopefully makes it easier to decide what to do without needing a
scavenger hunt.

Merge pull request #18009 from eileenmcnaughton/test

Re-fix test

Remove main PaymentExpress class

I recently identified that this processor had been broken for a long time & removed the broken IPN class

At that time I didn't remove the main class as I was unsure how to deal with any legacy transactions related to it.

However, @mattwire pointed out he had done work earlier to make CiviCRM cope with not-present processor classes and,
on testing, I was unable to trigger any errors after setting up a contribution page & an event page & making a payment
and then deleting the class. I couldn't edit the contribution, but with appropriate in app messaging and no fatal
error.

Re-fix test

The strtotime calculation adds 4 months before setting the day of month. However

July 31 + 4 months is 1 Dec - ie the month is 12 not 11 due to there being only 30 days. So to
get 27 Nov we need to get the July month (7) and add 4 and voila 11, not 12

Merge pull request #18004 from colemanw/saveDoc

[NFC] Improve docs for APIv4 Save action

Merge pull request #18006 from demeritcowboy/missing-transactioninfo

dev/core#1909 - E_NOTICE on contribution edit

Merge pull request #18007 from demeritcowboy/strpos-revisited

dev/core#1918 - Remove dubious qfkey checking code that never runs