Dupe improve custom data handling

The  current  custom data handling code does the  following

1) For normal single rows it first inserts a row. This has the impact of rendering the
update that follows meaningless (this was an intentional change). It then deletes the row.
Hence the upshot is simply that it deletes the row. A separate process transfers the custom
data for the row. In other words we are engaging in 3 queries with a fairly high chance of
causing deadlocks in order to just delete the row.

2) For single rows where the entity reference refers to the merged contact the row is
updated to refer to the merged contact (without the insert this works) and a further unnecessary delete follows

3) For custom groups supporting multiple rows the rows are updated to have the new entity id. An unnecessary delete follows.

This change only affects the first of these. I would like to, in a future PR, change UPDATE IGNORE to just UPDATE &
remove the unnecessary delete - with more testing.

Note that this does include a slight change of behaviour. Currently if ANY fields in a custom group
are transferred from one contact to another during merge the row is deleted (with all the custom fields in it).
However, if no fields in a set are deleted then the row is not deleted.

This felt like it was a bit short on consistency. If has a potential advantage from a DB size point of view (any
deleting is better than none) but it also increases the number of locking queries in a process that is fairly
prone to cause DB locks. Based on these considerations I didn't think it worth re-adding code complexity to
retain inconsistent deletion.

A note on tests - I pre-added a bunch of tests into _api3_ContactTest to cover the 3 scenarios above.

Merge pull request #17052 from eileenmcnaughton/email5

Duplicate EmailCommon::buildQuickForm onto the trait

Merge pull request #17053 from eileenmcnaughton/ipn

Make transaction param optional in completeOrder

Make transaction param optional in completeOrder

In all the places I checked passing in this param achieved nothing. Let's start by making it optional

Merge pull request #17037 from eileenmcnaughton/dupe

[Test] Extend custom field test trait & some related tests

Merge pull request #16957 from pradpnayak/importMappings

fixed mapping when using custom field for contact sub type

[Test] Extend custom field test trait & some related tests

Duplicate EmailCommon::buildQuickForm onto the trait

I have duplicated this code rather than moving it in case any non-core code calls it. We can remove in a bit

Merge pull request #17049 from eileenmcnaughton/phone_array

[NFC] Fix use of pattern-hated-by-Coleman

Merge pull request #17044 from yashodha/error

add filter for receipt date in contribution reports

[NFC] Fix use of pattern-hated-by-Coleman

Since I tried to use this as an example of a 'tidy' hook call I'd better fix it

Merge pull request #17048 from totten/master-upgr-nl-be

dev/translation#4 - Refine upgrade steps for modifying nl_NL

Merge pull request #16772 from eileenmcnaughton/mem_tax

Fix bug where tax_amount is miscalculated on membership renewals

Merge pull request #17047 from colemanw/api4exp

dev/report#31 - Api4 Explorer: Support SQL functions and HAVING clause

Merge pull request #17043 from davejenx/patch-1

Update 5.24.2.md - Fix version number in title.

Merge pull request #17046 from MegaphoneJon/fix-ftaclcheck

core#1700 - Fix Financial ACL Report check

dev/translation#4 - Refine upgrade steps for modifying nl_NL

1. This adds a filter on `option_group_id` so that we don't modify unrelated OGs/OVs
2. Use simpler SQL semantics per https://docs.civicrm.org/dev/en/latest/framework/upgrade/#tips-prefer-simple-sql-semantics-over-apibaodao

CRM_Util_SQL - Add `interpolate()` helper

The `interpolate()` function is already available as the heart of
`CRM_Util_SQL_Insert` and `CRM_Utils_SQL_Select`, etc.  This just makes it
easier to use for random SQL statements that don't have a full OOP model.

Merge pull request #17027 from demeritcowboy/nl-be-upgrade

dev/translation#4 - Upgrade script for nl_BE

Merge pull request #17011 from colemanw/noCount

Simplify groupContactCache - remove redundant query

Merge pull request #16987 from mattwire/casemissingtranslation

Add missing translations to case activity revisions

Merge pull request #17024 from jitendrapurohit/core-1696

dev/core#1696 - Update attachment message on mailing form.

APIv4 Explorer: support HAVING

Merge pull request #17025 from civicrm/1697-set-is_deceased-to-not-null-in-schema-and-upgrade-script

set is_deceased to not null in schema and upgrade script dev/core#1697

APIv4 Explorer - Support SQL functions

Adding "track by" to the loops is necessary so they aren't re-drawn during typing (causing the input to lose focus on every keystroke)

core#1700 - Fix Financial ACL Report check

Add missing translations to case activity revisions

Merge pull request #17038 from totten/master-vermsg

Mitigate flaky test failure about "CRM_Utils_Check_Component_Env->checkVersion()"

APIv4 Explorer - Use standard widget for SELECT

APIv4 Explorer - Whitespace fix

APIv4 Explorer - Get list of SQL functions

APIv4 Explorer - Make WHERE clause code more generic, toward supporting HAVING

APIv4 Explorer - Improve display of limit & offset params

Merge pull request #16888 from mattwire/addvarsanyregion

Allow adding variables to CRM.vars in any region

dev/core#1697 set is_deceased to not null in schema and upgrade script

add filter and sorting for receipt date in contribution reports

dev/core#1696 - Update attachment message on mailing form.

Update 5.24.2.md

Fix version number in title.

Merge pull request #17042 from civicrm/5.25

5.25

Merge pull request #17041 from seamuslee001/5.25

Add release-notes/5.24.2

Add release-notes/5.24.2

Mitigate flaky test failure about "CRM_Utils_Check_Component_Env->checkVersion()"

This function relies on an external data feed. If it fails to fetch the feed, then we
wind up with a PHP warning:

```
Invalid argument supplied for foreach() in CRM_Utils_Check_Component_Env->checkVersion()
(line 475 of /home/me/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Utils/Check/Component/Env.php).
```

In certain unit-tests, this warning becomes a false-negative test-failure.
I saw these tests failing recently:

```
CRM_Contact_Page_View_UserDashBoardTest.testDashboardContentContributionsWithInvoicingEnabled
CRM_Contact_Page_View_UserDashBoardTest.testDashboardContentContributions
CRM_Core_Page_HookTest.testFormsCallBuildFormOnce
CRM_Core_Page_HookTest.testPagesCallPageRunOnce
```

Note that it is legit to have some QA signals if the web-service fials, but
that's more of a monitoring issue for the web-service.  It shouldn't
manifest in random unit-tests or random page-views.

Merge pull request #16976 from eileenmcnaughton/xfer

[REF] Extract transferParticipantRegistration function

Merge pull request #16903 from eileenmcnaughton/settting_better

Allow setting metadata to use the `table` option. Update example setting `default_invoice_page`.

Merge pull request #16993 from eileenmcnaughton/emailget

Add / make fit for purpose email.getlist api call

Merge pull request #17034 from mattwire/removeparamfromcompleteorder

REF Remove redundant param from completeOrder

Simplify groupContactCache - remove redundant query

This was essentially running the same query twice, once with COUNT and then again with INSERT.
Should be ok to skip the count as the INSERT will do nothing if there are no results.

Merge pull request #17031 from eileenmcnaughton/email4

[REF] Update Contact email form to use the trait for EmailCommon functions

Merge pull request #17035 from civicrm/5.25

5.25

Merge pull request #17015 from colemanw/having

APIv4 - Add support for HAVING clause

Merge pull request #17033 from seamuslee001/5.25

Revert "temp workaround for dev/core#1675"

Merge pull request #17029 from eileenmcnaughton/email3

[REF] Move generic instances of listTokens to trait

contribution is available in objects so use that instead of passing separately - it does not need to be passed by reference

Merge pull request #16959 from ray-wright/patch-4

Add email link in case summary

Merge pull request #17021 from totten/5.25-language-labels

CRM_Core_I18n - Provide a better label for new/unknown locales

Revert "temp workaround for dev/core#1675"

This reverts commit fcd23b884537a19ff2acbc98ca20a43f292c4c42.

Merge pull request #17020 from eileenmcnaughton/dedupe1

Start using apiv4 in test setup

[REF] Update Contact email form to use the trait for EmailCommon functions

Move generic instances of listTokens to trait

add client email link to manage case header

Merge pull request #16899 from mlutfy/mailingReportView

Mailing Report: hide the HTML preview

upgrade script for nl_BE

Start using apiv4 in test setup

Merge pull request #17022 from eileenmcnaughton/test_updates

[NFC][Test] cleanup on customDataTrait for tests

Merge pull request #16954 from eileenmcnaughton/email4

[REF] Move generic preProcess function to the trait

APIv4 - Add support for HAVING clause

[NFC][Test] cleanup on customDataTrait for tests

Enable test on merging country, it now works

Merge pull request #17023 from civicrm/5.25

5.25  to master

Merge pull request #17004 from pradpnayak/fixhookissue

Fixed fatal error for class not found when managed hook is invoked du…

Merge pull request #17019 from eileenmcnaughton/dupe

[NFC] Minor code cleanups

CRM_Core_I18n - Provide a better label for new/unknown locales

Overview
--------

Suppose you add new/unrecognized data files in the `l10n` folder - and then
you navigate to the screen `civicrm/admin/setting/localization?reset=1`.

Before
------

The new language appears in the admin UI as a blank item.

Every page in the app displays a warning about the unrecognized locale.

After
-----

The new language appears in the admin UI with a placeholder name (based on the code).

The warnings are not displayed.

Comment
-------

We've just had an issue where a new language was added to the `l10n`
data-set, and then all automated test-suites for all versions (incl `5.25`
RC and `5.24` stable) started to throw blocker errors on unrelated PRs.
This is because the `l10n` data is generally evergreen, but each branch/tag
of `civicrm-core` has the list hard-coded in multiple spots.

This patch tries to make the symptom less painful when mixing/matching
different revisions of `civicrm-core.git` and `l10n.git`.

Merge pull request #16837 from tunbola/case-api-case-clients

dev/core#1659: Fix Case.get API returning Case Clients As Part of Related Contacts

[NFC] Minor code cleanups

Merge pull request #17018 from civicrm/5.25

5.25

Merge pull request #17014 from seamuslee001/nl_be_5_25

add nl_BE language

Add / make fit for purpose email.getlist api call

The function CRM_Contact_Page_AJAX::getContactEmail is one of our  earlier  ajax attempts & this approach has been largely
replaced with entity Reference fields. In order to switch over we need to bring Email.getlist api to parity which  means
1) searching on sortname first, if less than 10 results on emails include emails
2) appropriate respect for includeWildCardInName (this should already be in the generic getlist)
3) filter out on_hold, is_deceased, do_not_email
4) acl support (should already  be part of the api).

The trickiest of these to support is the first - because we need to avoid using a non-performant OR
My current solution is the idea of a fallback field to search if the search results are less than the limit.
in most cases this won't require a second query but when it does it should be fairly quick.

Merge pull request #17016 from eileenmcnaughton/dupe

[REF] Clarify variable & tighten use.

Merge pull request #17013 from demeritcowboy/boo2

[REF] Use bool instead of boolean

[REF] Clarify variable & tighten use.

moveContactBelongings is only called from one place which passes in all the function variables, so we don't need defaults.

The last parameter,  is retrieved from self::getAffectedCustomTables which  always returns an
array - so all the handling for it being NULL can be removed....

add nl_BE language

Merge pull request #17012 from demeritcowboy/boo

[REF] Formatting and use bool instead of boolean

formatting and bool vs boolean

standard is bool instead of boolean

Fixed fatal error for class not found when managed hook is invoked during upgrade

Merge pull request #17009 from colemanw/multi-cleanup5

[REF] CustomField code cleanup to use isSerialized method

Merge pull request #16968 from colemanw/multi-cleanup

[REF] CustomField code cleanup

CustomField code cleanup to use isSerialized method

Merge pull request #17002 from eileenmcnaughton/deduped

[NFC][Test] Minor cleanup in test class

Merge pull request #16996 from colemanw/customCleanup

[REF] Cleanup customField prepareCreate function

Merge pull request #17001 from seamuslee001/dev_core_1673

dev/core#1673 Ensure that SQL statements are not duplicated in the de…

[NFC][Test] Minor cleanup in test class

Most notably extracting duplicated code. General cleanup

Merge pull request #17000 from demeritcowboy/comment-for-extension

[NFC] Add Comment to avoid someone removing field only used in CiviCase extension

Merge pull request #16986 from colemanw/importParser

[REF] Update custom data handing in contact import

Merge pull request #16997 from colemanw/textAreaAttrs

Fix setting custom field TextArea attributes

dev/core#1673 Ensure that SQL statements are not duplicated in the developer tab of reports

comment to avoid removing

Merge pull request #16994 from yashodha/error

add filter and sorting for receipt date in contribution report

Merge pull request #16995 from ivan-compucorp/CPS-130-case-details-empty

Case Details field is empty

Fix setting custom field TextArea attributes

The code was potentially overwriting attributes for existing fields during update ops