Merge pull request #18069 from civicrm/5.28

5.28

Merge pull request #18070 from seamuslee001/dev_core_1927

dev/core#1927 Ensure that the contents of the database table are fixe…

Merge pull request #18056 from pradpnayak/invopdf

Use correct pdf package to generate pdf file on invoice download/email activity

dev/core#1927 Ensure that the contents of the database table are fixed up before changing the column type

Merge pull request #18066 from seamuslee001/dev_drupal_131

dev/drupal#131 Ensure that the General class exists

dev/drupal#131 Ensure that the General class exists

Merge pull request #18005 from agh1/button-icon-placement

Fix buggy placement of icons on buttons

Merge pull request #18058 from eileenmcnaughton/date

[REF] Even less variable variables

Merge pull request #18064 from agh1/configicons-ts

dev/core#1905 rework #17942 with simpler ts strings

dev/core#1905 rework #17942 with simpler ts strings

Merge pull request #18039 from eileenmcnaughton/mail

Extract code to set isEmailReceipt in Contribution.completeOrder

Merge pull request #18055 from eileenmcnaughton/curr_copy

[REF] remove first attempt to set currency in repeattransaction flow

Merge pull request #18063 from civicrm/5.28

5.28

Merge pull request #17942 from jitendrapurohit/configure-link

dev/core#1905 Add configure icons on public pages

Merge pull request #17995 from colemanw/updateHook

CRM_Utils_Hook: deprecation warning and short array syntax

Merge pull request #18040 from MegaphoneJon/selfservice-fixes

event#35: move statusBounce out of BAO layer; don't allow self-service when dis…

Merge pull request #18054 from agh1/no-button-bg

Why not make the buttons flat?

Merge pull request #18061 from seamuslee001/5274_notes

[NFC] 5.27.4 Release Notes

Merge pull request #18062 from eileenmcnaughton/error_juice

Improve error handling on IPN

removed unused statements

Improve error handling on IPN

https://civicrm.stackexchange.com/questions/37277/paypal-standard-payments-are-being-accepted-but-marked-as-incomplete-transaction/37279#37279

shows how unhelpful this error is - getting data from the exception should help.

Targetting 5.28 in case the gitlab relates to a regression & we need to solicit more debug info

release-notes.md - Small copy-edits

Add release-notes/5.27.4.md

Merge pull request #17951 from eileenmcnaughton/export_im

[REF] Simplify location metadata handling in Export class

[REF] remove first attempt to set currency in repeattransaction flow

The currency is retrieved from the template transaction, these lines are no longer needed, as demonstrated
in the test

Merge pull request #18059 from civicrm/5.28

5.28

Merge pull request #18053 from seamuslee001/test_ports

[NFC] Port some recent test fixes from master to 5.28

Merge pull request #18057 from eileenmcnaughton/single

[REF] Do not pass by reference to the recur function

(REF) WebsiteTest - Mitigate flaky failures

Overview
--------

In recent days, api_v3_WebsiteTest has emitted sporadic failures like this:

```
api_v3_WebsiteTest::testDeleteWebsite with data set #0 (3)
Failed asserting that 3 matches expected 0.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:75
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

and

```
api_v3_WebsiteTest::testDeleteWebsiteInvalid with data set #0 (3)
Failed asserting that 4 matches expected 1.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:88
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

These failures do not reproduce for me in isolation.

Before
------

Both the failing assertions make an implicit assumption that the baseline content of `civicrm_website` is empty.

After
-----

The failing assertions use an explicit baseline (`$beforeCount`).

Comments
--------

The test failures are sporadic and only seem to seem occur when run in the full suite.

My theory is that something else is leaking `civicrm_website` records;
however, it's hard to track that down amidst a full suite (when the full
suite takes so long to execute).  Therefore, I cannot be certain that this
is actually fixes the problem.  However, this really just tightens up the
assumptions of the test - as long as it passes the PR tests, it should be
safe to merge and then watch in the `CiviCRM-Core-Matrix`.

[REF] Even less variable variables

Merge pull request #18051 from demeritcowboy/member-status

[REF] Simplify getMembershipStatusByDate more

Reset button height in the WP backend

Simplify button padding and set consistent line height

remove IE6-only CSS

[REF] Do not pass by reference to the recur function

This is called twice (from with the same file). In both cases the calling function exits straight after
without using or returning the value and the calling function has not itself received them by reference

Use correct pdf package to generate pdf file on invoice download/email activity

No need to make Cancel button color imperceptibly dimmer

Remove crm-button-bg

Merge pull request #17993 from eileenmcnaughton/mm

Fix obscure dedupe scenario where 'bad' location data can overwrite good data

Merge pull request #17915 from demeritcowboy/useradd-messages

dev/drupal#127 - require email for the Useradd task and errors not showing

Extract code to set isEmailReceipt in Contribution.completeOrder

This consolidates all the code in the completeOrder that determines whether or not to send an email receipt.

Note that
- testCompleteTransactionWithEmailReceiptInput tests that input is respected
- for events the event::sendMail function will not send unless it's configured for the event - which
explains our final default of TRUE (testCompleteTransactionWithParticipantRecord)
- testCompleteTransaction covers the back-office case which also defaults to true
- I figure the cost of reloading the value for contribution_recur is pretty cheap compared to the confusion of passing values around
- testpayLater covers contribution_page with is_email_receipt

Fix for failing test

BY ensuring join_date is in the past we get away from situations where there is no valid status

re-re-fix test

Re-fix test

The strtotime calculation adds 4 months before setting the day of month. However

July 31 + 4 months is 1 Dec - ie the month is 12 not 11 due to there being only 30 days. So to
get 27 Nov we need to get the July month (7) and add 4 and voila 11, not 12

update failing test

make test less time-sensitive

api_v3_TaxContributionPageTest fix - remove hard coded processor id

Merge pull request #18025 from eileenmcnaughton/isotosql

dev/core#1921 [Ref] remove isoToMysql

move statusBounce out of BAO layer; don't allow self-service when disabled; support cancel deadlines > 24 hours.

Merge pull request #18052 from seamuslee001/master

dev/core#1665 Remove the having clause as well as having needs a group by

Remove the having clause as well as having needs a group by

Merge pull request #16877 from agileware/CIVICRM-1457

Remove ORDER BY and GROUP BY from alphabetQuery to improve performance

Remove unused button-crm-i CSS

Remove weird styling for "Configure CKEditor" button

Standardize single space (not nbsp) between icon and text

Eliminate support for old jQuery UI based crm-button-icon icon buttons

No need for crm-i-button class

Icons on buttons positioned inline, not absolute

simplification and add more test

Merge pull request #17937 from seamuslee001/radio_jquery_require

Fix JQuery Validation for radios

Merge pull request #18030 from eileenmcnaughton/fail

[REF] Simplify membership status date handling

Merge pull request #18044 from eileenmcnaughton/pprefs

Fix PaypalIPN single function to not receive-by-reference

Merge pull request #18018 from eileenmcnaughton/cont_status

Remove requirement to pass 'contribution_status_id' => Pending from order.create

Merge pull request #18032 from eileenmcnaughton/single

[REF] Clean up handling of financial_type_id override

Merge pull request #18033 from eileenmcnaughton/cont_id

Use saved contribution's line items rather than the primaryContributionID

Merge pull request #18046 from eileenmcnaughton/trans

[REF] Remove transaction from completeOrder signature

Merge pull request #17966 from pradpnayak/divwrap

Wrap multi record custom field inside a div

[REF] Clean up handling of financial_type_id override

Currently we use the primaryContributionID to determine whether the templateContribution will
have more than one line item & unset the parameter. It makes much more sense to do evaluations
on how many line items the template contribution will have when we have loaded it's line items.

The logic is that the financial_type_id can be overriden either by editing the recurring contribution
(which you are permitted to do if only one line item exists) or by passing it in via input (which
is ignored if there is more than one line item.

This change ensures the input parameter reaches repeatTrannsaction - which is the appropriate
place to determine whether to apply it.

It removes one of 2 places that refers to primaryContributionID. The other is also inappropriate
as it is basically used to look up the line items to see the number of terms for the membership. However,
we already know that for any repeat transactions as we have already loaded the line items. In
completeOrder the line items are that of the contribution being saved.

We could pass the saved contribution id into this function as a quick way to eliminate the primaryContributionID
or we could just determine num_terms rather than primaryContributionID earlier on

Merge pull request #18045 from eileenmcnaughton/sleep

[Test fix] We might need this to ensure really quick test runs don't fail

[REF] Remove transaction from completeOrder signature

It is no longer passed in

Merge pull request #17706 from demeritcowboy/mysql-ssl-alt

dev/core#1137 - Allow ssl connection to mysql by specifying in DSN

Merge pull request #18038 from eileenmcnaughton/perm_test

Test - attempt to replicate #17852

Merge pull request #18042 from eileenmcnaughton/transact

[REF] Remove transaction from BaseIPN completeTransaction call

Merge pull request #17700 from ixiam/dev-#1843

Remove url-tracking in mass sms. dev/core#1843

Merge pull request #17972 from eileenmcnaughton/matt_another

Do not overwrite values saved from the repeatContribution routine

Merge pull request #18043 from demeritcowboy/liar-fields

dev/core#1916 - Fix naming of case export fields / remove ones that aren't true

Merge pull request #17824 from colemanw/checks

SystemCheck: add ability to efficiently run only specified checks

[Test fix] We might need this to ensure really quick test runs don't fail

Fix PaypalIPN single function to not receive-by-reference

The function is called from 2 places
- main
- recur

In both cases it is at the end of the function & so the vars, if altered, are not used again.
In the case of main they are internal to the function whereas for recur they are not returned to the
calling function

Fix naming of fields /remove ones that aren't true

[REF] Remove transaction from BaseIPN completeTransaction call

This is now never passed in

Fix code to not overwrite source contribution - unit test for 17455

Merge pull request #18028 from eileenmcnaughton/anet

Add testing to Authorize.net and remove the lines that are repeated

Merge pull request #18037 from eileenmcnaughton/status_check

Add test on status calculation

Merge pull request #18041 from demeritcowboy/status-type-whats-the-diff

Fix qill typo

fix qill typo

Remove requirement to pass 'contribution_status_id' => Pending from order.create

contribution_status_id is a required param, but the only acceptable value is Pending. Let's make it optional.....

Merge pull request #18015 from demeritcowboy/resubscribe-missing

dev/core#1919 - Missing resubscribe url in text/plain version of unsubscribe confirmation email

Merge pull request #18029 from eileenmcnaughton/sendmail

[Ref] Simplify is_email_receipt in sendMail

Merge pull request #17912 from eileenmcnaughton/flex2

Update flexmailer release information

Use saved contribution's line items rather than the primaryContributionID

By the time we reach this point in the code we know that
1) the contributon exists and it has an id
2) it has line items  - either those created in it's pending stage or those calculated in repeattransaction

Therefore we can reasonably assume these line items are accurate now and use them, rather than the confusing
primaryContributionID that we have doubts about the validity of

Merge pull request #18019 from eileenmcnaughton/event_clean

[REF] [Test] Minor simplification on test

Test - attempt to replicate #17852

Add testing to Authorize.net and remove the lines that are repeated

In Authorize.netIPN updates are made to the contributionRecur that are later made in ContributionRecur::updateOnNewPayment

This adds test cover to ensure no change and then removes them.

With these lines gone it's apparent that the transaction is not required here

Merge pull request #17943 from jitendrapurohit/core-1906

dev/core#1906 - Allow payment create api to record payment on Failed …

Fix obscure dedupe scenario where 'bad' location data can overwrite good data

Our api permits the creation of addresses with no actual address-related data. I'm not sure this is a good
thing but one way or another some addresses got into our database with no useful information and I'm not convinced we
are alone.

When merging it's possible for a null address record to be treated as 'not a conflict' with an address record
with the same location but actual data, and for the null record to be retained. This fixes it such that in that
scenario the retained record is the one with data.

This is pretty obscure and an argument could be made for not fixing it. On the other hand this extends tests on the code
(in addition to the fairly extensive set in testBatchMergesAddresses) and I also did a few tangental cleanups

Merge pull request #18036 from eileenmcnaughton/exp_test

Fix for failing test

Add test on status calculation

Fix for failing test

BY ensuring join_date is in the past we get away from situations where there is no valid status

Merge pull request #18031 from mattwire/crmmoney

Remove invalid use of crmMoney formatter