Merge pull request #12648 from civicrm/5.5

5.5 to master

Merge pull request #12646 from eileenmcnaughton/option_group_cache

Fix option group caching issue.

Fix option group caching issue.

Per https://lab.civicrm.org/dev/core/issues/304 in some cases the api
cache has already been built so adding a new option_group
is not picked up causing a crash

Merge pull request #12576 from colemanw/userPerm

Fix CRM_ACL_API::whereClause to respect $contactId param

Merge pull request #12644 from civicrm/5.5

5.5 to master

Merge pull request #12640 from xurizaemon/GL316-cache_key_no_whitespace

(dev/core#316) Fix crash on Memcache systems when session key involves whitespace

dev/core#316 - Update long string cache key test results

This is replaces 95b65673b6259be3a02ed6510e7562939d35b6c8.  The intent is to
have a delimiter every ten chars so that it's easy to read/confirm the
length of the string.

The delimiter was space, but this became a longer encoded char (`-20`)
and threw off the numbers. Switching to dash just gives a different encoded char.
To get the counts right, it needs ot be a pass-through char... like underscore.

Merge pull request #12631 from JMAConsulting/dev-access-10-1

dev/accessibility#10 : Moved datepicker widget to a separate file

(NFC) CRM_Utils_Cache::create - Update docblock for 'name' param

Move datepicker widget to a separate file

Issue #316: Update long string cache key test results

Issue #316: Ensure Container caches have safe prefixes

Issue #316: Expand cache key test coverage with emoji

Issue #316: Update tests for whitespace escaping

Avoid calling Cache::cleanKey() twice in quick succession

Since this method is performance related and called frequently,
no need to recalculate results from preg_replace_callback() with
the same inputs.

Issue #316: Exclude spaces from cache keys for Memcache compatibility

- https://lab.civicrm.org/dev/core/issues/316
- https://github.com/memcached/memcached/blob/master/doc/protocol.txt

Merge pull request #12603 from jitendrapurohit/core-295

dev/core#295 - Allow default 'from' email to be  set in New email form

Merge pull request #12594 from eileenmcnaughton/sales_tax_trait

Minor refactor, use sales tax trait to simplify sales tax functions

Merge pull request #12633 from seamuslee001/symfony_upgrade

Upgrade symfony in lockfile to be 2.8 which is supported version of 2…

Merge pull request #12619 from mattwire/caseview_contactlink

Make contact name into a link on Manage Case for single client

Update Unit test to ensure it locks in 2.8 and include polyfil

Upgrade symfony in lockfile to be 2.8 which is supported version of 2.x series

Make contact name into a link on Manage Case for single client

Merge pull request #12630 from eileenmcnaughton/comment_bool

[NFC] comment fixes relating to doc blocks, spelling

Merge pull request #12629 from KarinG/FinancialAuditAddTests

Follow up on #12611 - adding in three data-integrity assertions.

[NFC] comment fixes relating to doc blocks, spelling

Merge pull request #12627 from eileenmcnaughton/caching_pp

Use cached version of payment processor.

Merge pull request #12559 from eileenmcnaughton/activity_part_2

Activity display, switch to more performance getActivities function (from deprecatedGetActivities)

Follow up on #12611 - adding in three data-integrity assertions.

Merge pull request #12444 from mattwire/fixduplicatecaseactivities

dev/core#245 Fix duplicate activities showing on case activities tab when they have multiple target/assignee contacts

Merge pull request #12625 from colemanw/recVer

Bump recommended php version to 7.1 and min recommended to 7.0

Use cached version of payment processor.

I am hitting a slightly obscure bug in Redis that is solved by this change.

Per https://github.com/eileenmcnaughton/nz.co.fuzion.omnipaymultiprocessor/issues/55
we have an issue whereby Omnipay adds the gateway to a variable on class when processing payments.

In some cases this gateway will not serialize into a key under Redis causing a fatal.

However, we don't really need it to - the payment processor that we are aiming to cache is
'as loaded' not 'as used'. The caching of the processors appears to have been removed in
the past because of issues around domains -however, I think we can get
past that by changing the cache key.

dev/core#295 - Allow default 'from' email to be  set in New email form

Merge pull request #12620 from mattwire/fileoncase_activityparams

Don't duplicate activity when filing on case

Merge pull request #12609 from mattwire/joomla_cron_timezone

Make sure Joomla timezone is set for cron jobs

Merge pull request #12611 from KarinG/FinancialAudit

[PHPUnit test only] Adding in assertions re: Line Item and Contribution data-integrity.

Bump recommended php version to 7.1 and min recommended to 7.0

Add comments

Merge pull request #12612 from eileenmcnaughton/more_lower

Further removal of instance of using LOWER() rather than relying on mysql non-case-sensitivity.

Merge pull request #12621 from JKingsnorth/remove-unused-vars-process-parti

Remove unused variables from process_participants job

Merge pull request #12608 from eileenmcnaughton/export_sigs

Stop passing imProviders & phoneTypes - use CRM_Core_PseudoConstant:getLabel

Merge pull request #12026 from michaelmcandrew/pass-mailingJobId-to-hookTokenValues

pass mailingJobId to hook_tokenValues

Remove unused variables

Set activity params correctly when filing an activity on case

Further removal of instance of using LOWER() rather than relying on mysql non-case-sensitivity.

Note I could not find any way to call this so I added deprecation notices

Per #12494 the use of LOWER

hurts performance
fails to return results on some char sets
messes with REGEX
This is part of a continued (we removed from contribution search fields last year)
staggered approach to removing this old mechanism

Merge pull request #12618 from colemanw/teenly

Fix teeny typo

Fix teeny typo

Merge pull request #12617 from civicrm/5.5

5.5

Merge pull request #12616 from eileenmcnaughton/report_date

Test fix, update activity report adds a this.month filter by default, accomodate

Test fix, update activity report adds a this.month fiter by default so make dates movable.

I also put time at the end of the day to avoid bounciness on status being overdue

Merge pull request #12595 from eileenmcnaughton/payment_processor_domain

API : Set current domain as a sensible default for payment processor

Merge remote-tracking branch 'origin/5.5'

5.4.0.md - Tweak cache notes

5.4.0 release notes (#12605)

* 5.4.0 release notes: raw from script

* 5.4.0 release notes: added boilerplate

* 5.4.0 release notes: finished documenting changes

* 5.4.0 release notes: updated contributors

Set version to 5.6.alpha1

Set version to 5.5.beta1

Merge pull request #12607 from colemanw/caseDetails

dev/core#289 - Fix links on case dashboard

Merge pull request #12610 from mattwire/recurtab_sort_desc

dev/core/issues/277 Sort recurring contributions by newest first

Merge pull request #12606 from JMAConsulting/custom-value-update

Customvalue ID is ignored

for Jenkins.

remove Initials.

Adding in assertions re: lineItem and Contribution data-integrity.

Fix duplicate activities showing on case activities tab when they have multiple target/assignee contacts

Sort recurring contributions by newest first

Make sure Joomla timezone is set for cron jobs

Merge pull request #12558 from totten/master-prevnext-misc

(dev/core#217) PrevNext - Allow swapping getPositions (etal) for contact-search

Stop passing imProviders & phoneTypes - use CRM_Core_PseudoConstant::getLabel(

Note this function is called once per export - not per row

Merge pull request #12587 from eileenmcnaughton/header_test

Export - add tests out header output, move phone_type_id to metadata

Merge pull request #12585 from eileenmcnaughton/param_passing

Stdise references to BAO_Query->_fields [nfc]

Fix activity edit link

dev/core#289 - Fix caseId url param

Merge pull request #12553 from pradpnayak/77

dev/core/issues/277, Fixed count to include only live recurring contr…

Merge pull request #12602 from colemanw/checkIfFieldExists

NFC - Deprecate duplicate function

Merge pull request #12604 from tschuettler/296-custom-value-return-field

api - CustomValue::get - add handling for comma separated return fields

Customvalue ID is ignored

Explode return values if it is not already an array.

Add unit tests for CustomValueGet return fields

Stop passing relationQuery object now it is not required

Stdise references to BAO_Query->_fields [nfc]

Merge pull request #12596 from eileenmcnaughton/export_ref

[NFC] Export - don't pass arrays as reference when they are not changed

Merge pull request #12591 from eileenmcnaughton/membership_type

Towards using EntityForm.tpl for Membership type & enabling custom data

Merge pull request #12600 from tschuettler/293-geocoding

Skip check for format method when there is no valid geocoding provider

Minor refactor, use sales tax trait to simplify sales tax functions

Stricter validation for checkIfFieldExists

NFC - Deprecate duplicate function

Skip check for format method when there is no valid geocoding provider

Export - don't pass arrays as reference when they are not changed

Move definition of phone_type_id to the xml.

This has the side effect of making it such that it only gets 16 char rather than 255. I thnk this is 'ok' here but there is a separate issue open to increase the varchar for all fields on export

Add tests for header output

Merge pull request #12535 from eileenmcnaughton/export_participant_test

Export Add unit test + minor refactor covering specifiable payment output fields for participant export.

Set current domain as a sensible default for payment processor domain

Merge pull request #12592 from civicrm/5.4

5.4 to master

Merge pull request #12590 from totten/5.4-flushcache

(dev/core#284) System::flushCache - Reproduce legacy cache behavior. Improve test performance.

Remove some fields from the form to rely on EntityTrait

Convert 'name' & 'description' to use the entity Fields format.

Note that doing a partial conversion in the template is just a stepping stone to using the
EntityField template, when lots of fields need conversion / review it allows us to break it up

Simplify converstion of fields, convert 2 more

Define entity data for membership type form

Merge pull request #12589 from seamuslee001/password_size

dev/core#291 Allow for field size to be set for password fields

Overview
----------------------------------------

`CRM_Utils_System::flushCache()` calls `CRM_Utils_Cache::singleton()->flush()`.
In `5.3`, this triggered a cascading effect; in development of `5.4.alpha`,
some of the cascades were overzealous and we revised to get tighter control
over cascading.

With an aim to being conservative and reproducing old behavior, I previously
patched `5.4.alpha` to add several extra flushes and simulate the old cascades.
However, it wasn't really as conservative as hoped -- because the "old
behavior" depended on the environment.  This patch brings us closer the "old
behavior".

See also: https://lab.civicrm.org/dev/core/issues/284

Before (Behavior in version <=`5.3`)
----------------------------------------

On systems with memory-backed caches, `flushCache()` had an aggressive
cascading side-effect where several named caches (`settings`, etc) were also
flushed.

On systems with a default configuration (SQL+ArrayCache), `flushCache()` had a
very limited cascading effect -- it *only cleared the in-process ArrayCache*.
The bulk of the cache content was preserved in SQL.

Before (Behavior in version ~= `5.4.alpha`)
----------------------------------------

To simulate the cascading effect, `flushCache()` explicitly flushes a
half-dozen individual caches.  (These half-dozen are chosen to match the old
cascade list and exclude some new things which would problematic.)

On systems with memory-backed caches, this reproduces the aggressive cascading
effect.

On systems with a default configuration (SQL+ArrayCache), this amplifies the
flushing -- because it also destroys the underlying SQL caches.

This has the side-effect of significantly degrading performance of the test
suite.

After (Behavior with patch)
----------------------------------------

`CRM_Utils_System::flushCache` calls `CRM_Utils_Cache::singleton()->flush()`.

To simulate the cascading effect, `flushCache()` explicitly flushes a
half-dozen individual caches...  *but only on memory-backed* systems.

On systems with memory-backed caches, this reproduces the aggressive cascading
effect.

On systems with a default configuration (SQL+ArrayCache), this is closer to the
old behavior.  The bulk of the cache remains available in SQL.

Based on local spot-checking, this restores performance of the test suite.

Comments
----------------------------------------

Deep down, I don't really believe the cascading effect is a good thing.  At
some point, I'd rather just remove these bits.  But in absence of a crystal
ball to predict the side-effects of that, I think it's good to find a better
approximation of the old behavior.

Merge pull request #12588 from mattwire/5.4_backportcasefixes

Backport "Fix regression on case export" to 5.4

dev/core#291 Allow for field size to be set for password fields