Stdise references to BAO_Query->_fields [nfc]

Merge pull request #12596 from eileenmcnaughton/export_ref

[NFC] Export - don't pass arrays as reference when they are not changed

Merge pull request #12591 from eileenmcnaughton/membership_type

Towards using EntityForm.tpl for Membership type & enabling custom data

Merge pull request #12600 from tschuettler/293-geocoding

Skip check for format method when there is no valid geocoding provider

Skip check for format method when there is no valid geocoding provider

Export - don't pass arrays as reference when they are not changed

Merge pull request #12535 from eileenmcnaughton/export_participant_test

Export Add unit test + minor refactor covering specifiable payment output fields for participant export.

Merge pull request #12592 from civicrm/5.4

5.4 to master

Merge pull request #12590 from totten/5.4-flushcache

(dev/core#284) System::flushCache - Reproduce legacy cache behavior. Improve test performance.

Remove some fields from the form to rely on EntityTrait

Convert 'name' & 'description' to use the entity Fields format.

Note that doing a partial conversion in the template is just a stepping stone to using the
EntityField template, when lots of fields need conversion / review it allows us to break it up

Simplify converstion of fields, convert 2 more

Define entity data for membership type form

Merge pull request #12589 from seamuslee001/password_size

dev/core#291 Allow for field size to be set for password fields

Overview
----------------------------------------

`CRM_Utils_System::flushCache()` calls `CRM_Utils_Cache::singleton()->flush()`.
In `5.3`, this triggered a cascading effect; in development of `5.4.alpha`,
some of the cascades were overzealous and we revised to get tighter control
over cascading.

With an aim to being conservative and reproducing old behavior, I previously
patched `5.4.alpha` to add several extra flushes and simulate the old cascades.
However, it wasn't really as conservative as hoped -- because the "old
behavior" depended on the environment.  This patch brings us closer the "old
behavior".

See also: https://lab.civicrm.org/dev/core/issues/284

Before (Behavior in version <=`5.3`)
----------------------------------------

On systems with memory-backed caches, `flushCache()` had an aggressive
cascading side-effect where several named caches (`settings`, etc) were also
flushed.

On systems with a default configuration (SQL+ArrayCache), `flushCache()` had a
very limited cascading effect -- it *only cleared the in-process ArrayCache*.
The bulk of the cache content was preserved in SQL.

Before (Behavior in version ~= `5.4.alpha`)
----------------------------------------

To simulate the cascading effect, `flushCache()` explicitly flushes a
half-dozen individual caches.  (These half-dozen are chosen to match the old
cascade list and exclude some new things which would problematic.)

On systems with memory-backed caches, this reproduces the aggressive cascading
effect.

On systems with a default configuration (SQL+ArrayCache), this amplifies the
flushing -- because it also destroys the underlying SQL caches.

This has the side-effect of significantly degrading performance of the test
suite.

After (Behavior with patch)
----------------------------------------

`CRM_Utils_System::flushCache` calls `CRM_Utils_Cache::singleton()->flush()`.

To simulate the cascading effect, `flushCache()` explicitly flushes a
half-dozen individual caches...  *but only on memory-backed* systems.

On systems with memory-backed caches, this reproduces the aggressive cascading
effect.

On systems with a default configuration (SQL+ArrayCache), this is closer to the
old behavior.  The bulk of the cache remains available in SQL.

Based on local spot-checking, this restores performance of the test suite.

Comments
----------------------------------------

Deep down, I don't really believe the cascading effect is a good thing.  At
some point, I'd rather just remove these bits.  But in absence of a crystal
ball to predict the side-effects of that, I think it's good to find a better
approximation of the old behavior.

Merge pull request #12588 from mattwire/5.4_backportcasefixes

Backport "Fix regression on case export" to 5.4

dev/core#291 Allow for field size to be set for password fields

Fix regression on case export from recent export fix

https://github.com/civicrm/civicrm-core/commit/3b4adc92793dccfa446cf66f0740edb543f110d7 changed the way componentmode is defined

It now seems inconsistent

Non functional changes towards shared functions in Core_Form_Task

Merge pull request #12578 from JKingsnorth/patch-10

(NFC) Update readme to link to GitLab instead of JIRA

Merge pull request #12577 from eileenmcnaughton/export_sql_columns

Export clean up sql columns

Merge pull request #12530 from colemanw/plainObject

crmRouteBinder - Don't convert arrays to objects

Merge pull request #12573 from pradpnayak/ThrowExceptionOnGetValue

Added code to throw exception on getvalue api call

Extract getMungedFieldName

Extract getSqlColumnDefinition off to processor class.

Note that I wrote test coverage that was pretty extensive on the output of this function earlier

 Update readme to link to GitLab instead of JIRA

crmRouteBinder - Don't convert arrays to objects

Merge pull request #12388 from pradpnayak/optionValuePaymentMethod-b

dev/financial/issues/24, Moved code from form layer to BAO and used api instead of BAO function

Merge pull request #12416 from pradpnayak/232

dev/core/issues/232, Some smart groups and some searches not returning any contacts

Added code to throw exception on getvalue api call

Moved code from form layer to BAO and used api instead of BAO function

updated explode function in custom search

dev/core/issues/232, fixed how contact sub type is using separator

Merge pull request #12556 from totten/master-prevnext-selection

(dev/core#217) PrevNext - Migrate selection methods

added unit test to search contact based on contact sub type

Merge pull request #12571 from civicrm/5.4

Add 5.3.2 release notes (#12570)

Add 5.3.2 release notes (#12570)

[reviewed, pending rebase] CRM-20703 - Event Contribution Created When No Payment Option Provided (#12367)

* CRM-20703 - Event Contribution Created When No Payment Option Provided

* throw form rule when amount block is active

Merge pull request #12569 from civicrm/5.4

5.4

Merge pull request #12568 from kcristiano/5.4

dev/279 - When Merging two contacts flip, prev, next not working

Merge pull request #12563 from eileenmcnaughton/enotice54

dev/core#276 enotice fix

dev/279 - When Merging two contacts flip, prev, next not working

Affects Joomla and WordPress

Signed-off-by: Kevin Cristiano <kcristiano@tadpole.cc>

dev/core#276 enotice fix

Merge pull request #12185 from eileenmcnaughton/entity_form_url_defaults

Entity form : Establish methodology to allow default values to be passed in on the url

Merge pull request #12561 from eileenmcnaughton/mailing

CRM-21768_NOFOLLOW_links_in_public_online_view_of_mailings

Merge pull request #12560 from scardinius/core-278

dev/core#278 Fix DB syntax error when try to search deleted cases

CRM-21768_NOFOLLOW_links_in_public_online_view_of_mailings

dev/core#278 Fix DB syntax error when try to search deleted cases

(dev/core#217) PrevNext - Make getSelectedContacts() more portable

This function is used one time -- when you run a search, select some
contacts, and perform a task (like "Delete contacts"), the
`CRM/Contact/Form/Task.php` displays a table with the names of the selected
contacts.

This patch makes the logic portable -- so that it can work regardless of
whether selections are stored in MySQL or Redis.

Before
------

* The contacts are selected `FROM civicrm_prevnext_cache WHERE cacheKey LIKE {$key}% AND cacheKey NOT LIKE {$key}_alphabet%`.
* The contact names come from `civicrm_prevnext_cache.data`, which has been
  pre-filled with either `civicrm_contact.sort_name` (for most contact
  searches) or `civicrm_contact.display_name` (for campaign respondent
  searches).

After
-----

* The selections are chosen with `FROM civicrm_prevnext_cache WHERE cacheKey LIKE {$key}%`.
* The contact names are loaded directly from `civicrm_contact.sort_name`.

Comments
--------

* The use of wildcards with `cacheKey` seems like a code-smell suggest a
  somewhat deeper problem in how `cacheKey` is understood.  However, for our
  purposes, it shouldn't matter.
* The before and after queries are very similar in how they use
  `cacheKey`...  and slightly different.  (Ugh.) Is the new one better or
  worse?  Well, look at how `CRM_Contact_Form_Task` uses `getSelection()`
  (for finding contact IDs, which feed into the task logic) and
  `getSelectedContacts()` (for finding contact names, which are displayed to
  user).  If the subtle difference in `cacheKey` filtering matters, then our
  UX is buggy because we're showing the user one contact-list (based on old
  `getSelectedContacts()`) and we're executing on a different contact-list
  (based on the old `getSelection()`).
* Is the old technique for getting names (querying
  `civicrm_prevnext_cache.data`) better than the new technique (querying
  civicrm_contact.sort_name)?  I haven't benchmarked, but I'm skepitcal.
  Both techniques transfer the full `O(n)` list from mysql to php.
  In typical usage, the size of `n` is limited by what an admin is
  willing to click through in the UI (which is probably a few hundred
  IDs). The contact tables is indexed by ID. Maybe... if you manually
  check several thousand records, it might make a small difference. But
  if you're clicking that many, then other things are also getting more
  expensive (like the actual task). In this case, it feels like an
  unnecessary optimization.

(dev/core#217) PrevNext - Sanitize the `getSelection()` contract

1. Improve docblock formatting
2. The `$entity_table` is never passed in. You can see this by grepping universe for `getSelection`.

(dev/core#217) PrevNext - Sanitize the `markSelection()` contract

The contract feels quirky -- e.g.

* Who would guess that `markSelection()` defaults to `$action == 'unselect'`?
* What's the point of accepting `$entity_table` if it's never used?

Fortunately, this function is only called from `CRM_Contact_Page_AJAX::selectUnselectContacts`,
so it's fairly easy to audit and see that:

* The `$action` is always passed in -- it never relies on the default value.
* The `$entity_table` is never specified explicitly -- it always relies on the default value.

(dev/core#217) PrevNext - Migrate `getSelection()` from BAO to service interface

(dev/core#217) PrevNext - Migrate `markSelection()` from BAO to service interface

Merge pull request #12364 from JMAConsulting/dev-core-210

dev/core#210: Regex filter broken in Search Builder

Merge pull request #12543 from totten/master-prevnext-probe

(dev/core#217) PrevNext - Probe for best available implementation (memory-backed or SQL-backed)

Merge pull request #12555 from civicrm/5.4

5.4 to master

Merge pull request #12552 from colemanw/dedupe54

Handle 'Check for Matching Contact(s)' button with ajax

Merge pull request #11949 from magnolia61/Hide_waitinglist_for_past_and_registration_closed_events

Event Info: show waitinglist statusline only when registration is open

Merge pull request #12440 from mattwire/customfield_selectnooptiongroup

dev/core#244 Allow use of custom fields of type select without specifying an optiongroup

Merge pull request #12439 from mattwire/membershiptype_baotoapi

dev/core#111 Support Custom Data for MembershipType entity

Rationalise selectedPaymentFields.

The selected payments field variable is primarily used when exporting participants
with contributions. This gets the definition of it out of the returnProperties definition
and calculates it more sensibly.

Add unit test covering specifiable output fields for participant export.

Merge pull request #12521 from eileenmcnaughton/fix_im_export_test

Move relationship return properties to the processor class to fix leakage related test fail

Merge pull request #12544 from totten/master-redis-pool

(dev/core#217) CRM_Utils_Cache_Redis::connect() - Allow pooling connections

Merge pull request #12545 from totten/master-prevnext-fill

(dev/core#217) PrevNext - Define and use fillWithSql()/fillWithArray()

Merge pull request #12546 from eileenmcnaughton/redis

Reduce config required to use Redis.

Merge pull request #12385 from mattwire/test_transactions

dev/core#219 Improve consistency displaying "Test Transactions"

Exclude current contact from dupe check

Handle 'Check for Matching Contact(s)' button with ajax

Merge pull request #12475 from mattwire/CRM-21574_disable_contact_email_tellafriend

CRM-21574 Allow to disable sending of email from source contact for tell a friend on pcp

Merge pull request #12536 from mukeshcompucorp/SHOR-13-regression-search

Theme layer Fix search for Shoreditch compatibility

Merge pull request #12551 from seamuslee001/missed_54_commits

Included missed 5.3 commits

Resolve Securty/Core#13 Fix Security/Core SQLi in getTree function of CustomGroup Class

Merge pull request #12549 from civicrm/5.4

5.4

Merge pull request #12538 from JKingsnorth/patch-8

dev/core#131 Stop Monmouthshire from breaking upgrades

Convert MembershipType form to EntityForm and use API (so we can save custom data)

Merge pull request #12501 from pradpnayak/customFT

Expose UI support for custom fields on financial types

Merge pull request #12541 from colemanw/menuIcons

Update navigation menu items to use FontAwesome

Merge pull request #12437 from mattwire/fix_premium_display_contributionpage

dev/core#242 Fix display of premiums on contribution page

Merge pull request #12387 from mattwire/paypalipn_fixes

dev/financial#27 Paypal_Standard recurring IPNs don't work

Reduce config required to use Redis.

Specifying the default port sensibly removes one config step & makes sysadmins happier

(dev/core#217) CRM_Utils_Cache_Redis::connect() - Allow pooling connections

Before
------

* Every time you create an instance of `CRM_Utils_Cache_Redis`, it makes
  a new instance of the driver class `Redis`.

After
-----

* Every time you create an instance of `CRM_Utils_Cache_Redis`, it uses
  a shared instance of the driver class `Redis` (assuming the host/port
  are the same).
* If you're writing a driver somewhere else (e.g. the upcomgin
  `CRM_Core_PrevNextCache_Redis`), you can use the shared instance
  of `Redis`.

(dev/core#217) PrevNext - Probe for best available implementation (memory-backed or SQL-backed)

Before
------

The `prevnext` service is always an instance of `CRM_Core_PrevNextCache_Sql`.

After
-----

If you define `CIVICRM_DB_CACHE_CLASS`, and if there's a corresponding
service `prevnext.driver.{mydriver}`, then it will use that service.

Otherwise, it will use `prevnext.driver.sql` (`CRM_Core_PrevNextCache_Sql`).

(dev/core#217) CRM_Utils_Cache - Extract method `getCacheDriver()`

Merge pull request #12540 from colemanw/Link

Link to option group page from option group menu item

Merge pull request #12539 from colemanw/recursiveUtils

(NFC) Remove deprecated recursive array utils

(dev/core#217) Campaign Selector - Change direct SQL call to `prevnext->fillWithSql(...)`

(dev/core#217) CRM_Contact_Selector::rebuildPreNextCache - Use PrevNextCache::fillWithArray()

(dev/core#217) CRM_Contact_Selector::fillupPrevNextCache - Use PrevNextCache::fillWithSql()

dev/core#131 Stop Monmouthshire from breaking upgrades

Merge pull request #12473 from mattwire/optiongroup_ui_improvements

dev/core#259 OptionGroup Admin UI workflow improvements

Update navigation menu items to use FontAwesome

Use same function for 'Contributions' tab count on subtab

Link to option group page from option group menu item

Merge pull request #12529 from colemanw/Deprecate

(NFC) Deprecate redundant array util function

Remove deprecated recursive array utils

Improve PayPalIPN unit tests

Don't hardcode contribution_status_id in PayPalProIPN, re-order parameters for readability to match PayPalIPN

Fix Paypal recurring IPNs

financial_type_id is not required for a premium product so may not be set in civicrm_premium_product. The filter for display should select those with a NULL financial_type as well as specific financial types.

Allow custom fields of type Select to be defined without specifying an option group (so they can be populated dynamically using hook_civicrm_fieldOptions