Reduce deadlocks on inserting custom data by only using 'ON DUPLICATE' when it is not a new row

ON Duplicate is used in the customData.create function so that a row can be inserted and if it exists
mysql adapts and updates the existing row. This is more expensive and more prone to deadlocks than a straight
'INSERT' but is probably better than figuring it out at the php layer when you don't know if it could be
an update rather than an insert.

However, in many of the cases we already know this information - ie. if we are creating a new contribution
the custom data is created afterwards so we can use this information from Contribution.create to opt for the
cheaper & less deadlocky version.

We deployed this fix before our main fundraiser due to handful of daily deadlocks on this under peak load
and this form of deadlock did not bother us again during our main fundraiser when we were processing large volumes.
The patch has been in production around 6 months at this point.

Note that the reason deadlocks are encountered is that the 'next row' index is locked when inserting, and
it's either locked for longer or more aggressively when it;'s also checking for a deadlock at the same time (not
sure which)

Merge pull request #14600 from seamuslee001/util_function_for_resetting_ACL_System_cache

[REF] Add in utility function for resetting ACL and System Level Caches

Merge pull request #14603 from mattwire/event_comments

NFC Cleanup comments on BAO event

Cleanup comments

Merge pull request #14599 from eileenmcnaughton/record_partial_1

Decommission recordPartialPayment function

Add in utility function for resetting ACL and System Level Caches

Merge pull request #14598 from eileenmcnaughton/amp

[REF] do not pass  by reference to store & create functions

Merge pull request #14584 from seamuslee001/contact_group_cache_backend_convert

Convert Contact Groups cache group to standard cache definition

[REF] do not pass  by reference to store & create functions

After checking the code these are unchanged & not using pass-by-reference unecessarily is better practice

Merge pull request #14595 from colemanw/setup

Fix setup.sh crash when using the -a flag

Decommission recordPartialPayment function

While I would normally say extracting is good sometimes if feels like things are being broken down in the
wrong places. In this case I think the function name is misleading and having this in the body of Payment.create
makes the path to cleaning up that function clearer

Merge pull request #14593 from eileenmcnaughton/seamus

Towards Convert receive_date to use datepicker in search

Fix setup.sh crash when using the -a flag

Fix Batch searching on receive date follwoing conversion and handle receive_date param for the moment as not properly namespaced

Merge pull request #14590 from colemanw/i18nApi

Support api3 & 4 language syntax & improve test

Merge pull request #14592 from civicrm/5.15

5.15 to master

Merge pull request #14572 from seamuslee001/dev_core_1052

Fix dev/core#1052 Activities causing a fatal error if target_contact is not accessable to logged in user

Support api3 & 4 language syntax & test

Merge pull request #14460 from eileenmcnaughton/ajax_test

Add default receive_date for contributions at BAO level

Merge pull request #14480 from JMAConsulting/core-553

dev/core#553: Creating new event takes value from default value not from saved template for custom fields

dev/core#1052 fix fatal error when first target contact is not visible to the logged in user and update test appropriately

Add in unit test demonstrating the fatal error generated

Merge pull request #14578 from colemanw/i18n

i18n - Improve multilingual popup for text and wysiwyg fields

Merge pull request #14519 from colemanw/submitOnce

dev/core#914 rewrite submitOnce function

Merge pull request #14585 from seamuslee001/primary_mebership_label_chagne

Update Owner Membership ID label in reports to be Primary Membership …

Merge pull request #14586 from colemanw/Utils_JS

Utils_JS - add fn to get props of js object without parsing them

Update Owner Membership ID label in reports to be Primary Membership to be more consistant with rest of system

Re-order owner_membership_id field options so that primary members only and non-primary-members-only filters are at the top

Utils_JS - add fn to get props of js object without parsing them

Merge pull request #14579 from civicrm/5.15

5.15

Convert Contact Groups cache group to standard cache defition

Merge pull request #14568 from greenpeace-cee/fix-schemahandler-cache

Fix use of cached schema information in SchemaHandler

Merge pull request #14575 from seamuslee001/5_14_1_release_notes

Add release-notes for 5.14.1

i18n - Improve multilingual popup for text and wysiwyg fields

Add release-notes/5.14.1.md

Merge pull request #14573 from seamuslee001/5.15

Update http_timeout setting version to match the fact it is being bac…

Merge pull request #14562 from agileware/CIVICRM-1244

dev/core#1049: Use FrontEndPaymentFormTrait to assign line items…

Update http_timeout setting version to match the fact it is being backported to 5.14

Merge pull request #14569 from pradpnayak/HardCodes

Removed hardcoded value for registered participant status

Removed hardcoded value for registered participant statu

Fix use of cached schema information in SchemaHandler

This fixes an issue where CRM_Core_BAO_SchemaHandler uses outdated
schema/column information from cache when rebuilding triggers. In
certain scenarios, for example when multiple custom fields are deleted
during a single script execution, this could cause generated SQL to
reference deleted columns, throwing an error.

Merge pull request #14543 from eileenmcnaughton/wtf_null

[TEST] add assert to ensure nullArray & nullObject are not contaminated

Merge pull request #14566 from civicrm/5.15

5.15 to master

Merge pull request #14565 from vingle/patch-6

Resolve a conflict with Wordpress CSS

Merge pull request #14564 from seamuslee001/less_null_array

Remove more uses of CRM_Core_DAO::$_nullArray that are unncessary

Resolve a conflict with Wordpress CSS

Issue was affecting menu item wrap/overflow, described here: https://github.com/veda-consulting/uk.co.vedaconsulting.gdpr/issues/192.

Remove a few more uses

Remove more uses of CRM_Core_DAO:: that are unncessary

Merge pull request #14560 from seamuslee001/null_array_profile

Remove unncessary $_nullArray usage when calling createProfileContact function

Merge pull request #14561 from seamuslee001/null_array_execute_query

Remove unneeded use of CRM_Core_DAO::$_nullArray in executeQuery or s…

Remove unneeded use of CRM_Core_DAO::$_nullArray in executeQuery or similar calls

Remove unncessary usage of CRM_Core_DAO::$_nullArray when calling createProfileContact function

And annother instance

CIVICRM-1244: Use FrontEndPaymentFormTrait to assign line items on Event Registration Confirm and ThankYou "forms"

Merge pull request #14558 from seamuslee001/price_bao_null

[REF] Remove more instances of _nullArray

Merge pull request #14559 from seamuslee001/entity_setting_legacy_cache

Alter PSR16 code to take into account of new entitysetting release wi…

Alter PSR16 code to take into account of new entitysetting release with upgraded caching

Remove more instances of _nullArray

Merge pull request #14136 from mattwire/buttonpopups

Support button elements in ajax popups

Merge pull request #14509 from mattwire/buttons_settings_cleanupcache_standard

Add buttons to 'Cleanup caches and update paths' in standard way

Add buttons to 'Cleanup caches and update paths' in standard way

Support button elements in ajax popups

SubmitOnce - play nice with jQuery validate

Rewrite submitOnce function, deprecate old one

New function works on a per-form basis, not per button.
It changes the button icon instead of the button text.

Merge pull request #14557 from civicrm/5.15

5.15 to master

Merge pull request #14545 from demeritcowboy/temp-remove-submit-once

Temporarily remove activity submit once pending PR 14519

Standardise exception use in test suite

Using less different types of exceptions is cleaner- our own exception is pretty much our go-to
so using here

[TEST] add assert to ensure nullArray & nullObject are not contaminated

Merge pull request #14556 from eileenmcnaughton/null_another

dev/core#1047 Fix instance of null contamination

Merge pull request #14555 from eileenmcnaughton/null

dev/core#1047 Fix instance of null contamination

dev/core#1047 Fix instance of null contamination

Merge pull request #14552 from eileenmcnaughton/tear

[test] Call parent tearDown more consistently

dev/core#1047 Fix instance of null contamination

[test] Call parent tearDown more consistently

Primarliy consistentcy - also supports checking nullArray is cleared per

https://github.com/civicrm/civicrm-core/pull/14550

Merge pull request #14550 from eileenmcnaughton/null_fix

dev/core#1047 Fix instance of NULL contamination

Merge pull request #14551 from totten/master-theme-cleanup

CRM-18792, dev/core#378 - Catch-up on settings metadata

CRM-18792, dev/core#378 - Catch-up on settings metadata

This is a follow-up to #12929.  In the interim between the writing and
merging of the PR, the version numbers changed.

Fix instance of NULL contamination

Merge pull request #14443 from eileenmcnaughton/export

Fix duplicate households on 'Merge same household' exports

Merge pull request #14549 from seamuslee001/master

5.15

Merge in 5.15

Merge pull request #14525 from seamuslee001/feature_timeout_setting

dev/core#1035 Add in new setting http_timeout to set how long in seco…

Merge pull request #12929 from totten/master-theming-rb

CRM-18792, dev/core#378 - Create CSS theming subsystem

Merge pull request #14542 from eileenmcnaughton/tests

[TEST] Fix intermittent test fail on NULL array getting contaminated

dev/core#1035 Add in new setting http_timeout to set how long in seconds should HTTP requests last for to fix dev/core#1035

Handle situations where a 0 timeout is passed in

Remove from form

Update variable name as per EIleen

Merge pull request #14548 from seamuslee001/nfc_declaration_fix

[NFC] Fix Test function delcaration to match change in CiviUnitTestCa…

CRM-18792 - CRM_Core_Theme - Add helper for loading CSS files from themes

CRM-18792 - CRM_Core_Resources - Load civicrm.css through theme system

CRM-18792 - Rename `CRM_Core_Theme` to `\Civi\Core\Theme`

CRM-18792 - Civi\Core\Theme - Remove statics

WIP

CRM_Core_Resources::addCoreStyles - Revert change

CRM-18792 - addStyleFile - Always pass through to theme. Support fallback.

Rename `Civi\Core\Theme` to `Civi\Core\Themes`

The class manages a list of themes -- not just a single theme.

CRM-18792 - Add org.civicrm.demotheme

CRM-18792 - Add uncommitted test files (`Civi\Core\Themes`)

CRM-18792 - Fix regression in CRM_Core_ResourceTest

CRM-18792 - Theme naming - Use prefix '_' for hidden themes

This cleans up a few things:

 * Previously, there was a special case for using FALLBACK in `search_order`.
 * If you're creating a multitheme extension, you may want to define a base theme
   (which is extended by the others). Previously, you were required to show this
   base theme as a user-selectable option. Now, it can be hidden.
 * There was a bug where `resolveUrl()` would sometimes call the wrong callback.
   (It used resolver for `$active` instead of `$themeKey`.)

CRM-18792 - Themes - File overrides and excludes should use same naming

Previously, when using `addStyleFile($cssExt,$css$file)`, the file overrides
and exlcudes would combine them differently e.g.

 * For `addStyleFile('civicrm','css/bootstrap.css')`
   * Override `css/bootstrap.css`
   * Exclude `civicrm:css/bootstrap.css`
 * For `('org.foo.bar','css/bang.css')`
   * Override `org.foo.bar-css/bang.css`
   * Exclude `org.foo.bar:css/bang.css`

Now, they use the same notation:

 * For `addStyleFile('civicrm','css/bootstrap.css')`
   * Override `css/bootstrap.css`
   * Exclude `css/bootstrap.css`
 * For `('org.foo.bar','css/bang.css')`
   * Override `org.foo.bar-css/bang.css`
   * Exclude `org.foo.bar-css/bang.css`

"Display Preferences" - Add the `theme_backend` and `theme_frontend` settings

hook_civicrm_activeTheme - Allow extensions and CMS modules to choose active theme

CRM_Utils_Hook::themes() - Tweak docblock

Civi\Core\Themes - Move cache from `short` to `long`

Remove tools/extensions/org.civicrm.demotheme

Fix merge ahem errors

Merge pull request #14547 from civicrm/5.15

5.15 to master

Fix intermittent test fail on NULL array getting contaminated & causing later tests to pass the wrong thing

[NFC] Fix Test function delcaration to match change in CiviUnitTestCase class

Merge pull request #14544 from totten/5.15-JPG

(dev/core#1044) Extension/MIME matching should be case insensitive

Merge pull request #14540 from eileenmcnaughton/anettest

Fix A.net to resolve time when using default

Merge pull request #14533 from eileenmcnaughton/deprecate

Deprecate contribution_date as a parameter

Merge pull request #14537 from colemanw/jsDecode

Add CRM_Utils_JS::decode function for decoding js objects

temporarily remove activity submit once pending PR 14519

(dev/core#1044) Extension/MIME matching should be case insensitive

Overview
--------

For CIVI-SA-2019-15, the delivery of file attachments was tightened to
ensure that the file-extension and mime-type were in agreement.  However,
the check yields a false-negative in the common case where the filename has
been capitalized.  It should treat `foo.jpg`, `foo.JPG`, and `FOO.JPG` as
equally valid.

Before
------

* When viewing a contact profile image ending with `.JPG`, there is an error
  message, `Supplied mime-type does not match file extension`.

After
-----

* When viewing a contact profile image ending with `.JPG`, the image is
  delivered.

Comments
--------

See also:

* https://civicrm.org/advisory/civi-sa-2019-15-xss-via-forged-mime-type
* https://lab.civicrm.org/dev/core/issues/1044

Merge pull request #14524 from eileenmcnaughton/csv

Add csv reader package

Merge pull request #14538 from civicrm/eileenmcnaughton-patch-2

[test] truncate pledge block when cleaning up financial entities

Merge pull request #14535 from colemanw/addressCustom

Address BAO - Handle standard 'custom' param as well as individual fields

Merge pull request #14541 from civicrm/5.15

5.15 to master

Merge pull request #14539 from totten/5.15-tap-yaml

Civi/Test/TAP - Replace Symfony YAML dependency

Civi/Test/TAP - Replace Symfony YAML dependency

This allows two paths:

1. If you have the YAML PECL extension, then that will be used.
   To get the best output, you can install it.
2. If you don't, then it'll output JSON. JSON is considered valid YAML.
   It's not clear that everyone reading the document will handle
   the full range YAML (incl JSON), but... we don't actually have any
   listeners that care to parse the TAP output...