Merge pull request #12378 from eileenmcnaughton/totten

(dev/core#174) Full PSR-16 compliance for ArrayCache, Redis

(dev/core#174) Redis - Updates to comply with PSR-16

(dev/core#174) ArrayCache - Updates to comply with PSR-16

Merge pull request #12236 from agileware/CIVICRM-874

CiviCase, added reference of activities from different timelines.

Merge pull request #12376 from totten/master-psr16-util

(dev/core#174) Add various utilities to support PSR-16

(dev/core#174) NaiveMultipleTrait - Fix validation of oddball iterables

(dev/core#174) CRM_Utils_Date - Add helpers for handling PSR-16 TTL's

(dev/core#174) Implement CRM_Utils_Cache::assertValidKey

(dev/core#174) NaiveMultipleTrait - Throw errors for bad inputs

(dev/core#174) Add E2E_Cache_CacheTestCase

(dev/core#174) Add concrete classes for cache exceptions

PSR-16 specifies cache exceptions using interfaces.  This requires that we
implement the interfaces.

Merge pull request #12368 from totten/master-cache-schema

(dev/core#174) civicrm_cache - Finish transition from DATETIME to TIMESTAMP

Merge pull request #12374 from yashodha/report-fixes

core/issues#96 - Expose source column in booking report

core/issues#96 - Expose source column in booking report

Merge pull request #12342 from totten/master-psr16-min

Caching - Comply with PSR-16 interfaces

Merge pull request #12355 from mattwire/CRM-21574_disable_contact_email_tellafriend_nfc

CRM-21574 NFC code cleanup of CRM_Friend_BAO_Friend class

(dev/core#174) Update top-level interfaces to show PSR-16 support

composer.json - Import PSR-16 interfaces (psr/simple-cache ~1.0.1)

(dev/core#174) CRM_Utils_Cache_Interface - Add `has()` (PSR-16)

(dev/core#174) CRM_Utils_Cache_Interface::clear() is an alias for flush()

flush() is specified by Civi's traditional interface, and clear() is
specified by PSR-16. The semantics should be the same (i.e. remove
any records managed by this cache-object).

This treats flush() and clear() as aliases.

(dev/core#174) CRM_Utils_Cache_Interface::delete() - Return bool like PSR-16

The function signature for `delete()` did not specify a return value, and
actual behaviors varied depending on the driver (`bool` for memcache,
`int` for redis, and `void` for others).

This standardizes on returning a bool -- which makes the signature align
with PSR-16's `delete()`.

(dev/core#174) CRM_Utils_Cache_Interface::flush() - Return bool like PSR-16

The function signature for `flush()` did not specify a return value, and
actual behaviors varied depending on the driver (`bool` for memcache,
`int` for redis, and `void` for others).

This standardizes on returning a bool -- which makes the signature align
with PSR-16's `clear()`.

(dev/core#174) CRM_Utils_Cache_Interface - Add getMultiple/setMultiple (PSR-16)

(dev/core#174) CRM_Utils_Cache_Interface::set() should match PSR-16

Comparing `CRM_Utils_Cache_Interface::set()` and `Psr\SimpleCache\CacheInterface::set()`,
they agree on key details:

1. The first value is a string key.
2. The second value is a mixed field (string or number or array...).
3. The return value should be a boolean indicating success/failure.

There are two differences:

1. Our old interface didn't actually enforce the return-value in all cases. Should be better now.
2. PSR-16 accepts a third argument, `$ttl`, which defaults to `NULL`. In the NULL/default case,
   the semantics are the same (i.e. up to the discretion of the driver).
    1. Since no existing callers actually use this, we can (for moment) throw an
       error if someone tries to pass `$ttl` to a driver that doesn't support it.
3. The `$value` is pass-by-reference. However, this probably doesn't mean anything.
    1. In older Civi code, there was a tendenacy to pass-by-reference without any real
       need -- perhaps just speculation about performance.
    2. Most cache drivers serialize the value and send it elsewhere. References will
       not survive the process. If there's some code/caller/use-case that requires the
       references to work, then it's already broken for most drivers (except maybe `ArrayCache`).
    3. The old signature meant that callers had to say `$bar=123; $cache->set('foo', $bar)` rather than
       `$cache->set('foo', 123)`. This change relaxes the contract -- so that you can pass
       either `$bar` or `123.

See also: https://www.php-fig.org/psr/psr-16/

(dev/core#174) CRM_Utils_Cache_Interface::get() should match PSR-16

Comparing `CRM_Utils_Cache_Interface::get()` and `Psr\SimpleCache\CacheInterface::get()`,
they agree on key details:

1. They return values are `mixed` (strings, arrays, numbers,, etc)
2. The default representation of a cache-miss is NULL.

They differ in that PSR-16 allows the caller to optionally specify a `$default`.

Since no existing callers actually use this, we can (for moment) throw an
error if someone tries to pass `$default` to a driver that doesn't support
it.

See also: https://www.php-fig.org/psr/psr-16/

Merge pull request #12348 from totten/master-clean-keys

(dev/core#174) Cache-keys for CRM_Utils_Cache_* should avoid reserved chars

(dev/core#174) civicrm_cache - Mandate change from DATETIME to TIMESTAMP

v4.7.20 updated the definition of `created_date` and `expired_date` so that
new installs would default to TIMESTAMP instead of DATETIME.  Status-checks
and DoctorWhen have been encouraging a transition, but it wasn't mandated,
and there was little urgency...  because `expired_date` was ignored, and
adhoc TTLs on `created_date` had generally long windows.  Now that we're
using `expired_date` in more important ways for 5.4 (dev/core#174), we want
to ensure that these values are handled precisely and consistently.

Before
------------------------------
* On new deployments, `created_date` and `expired_date` are TIMESTAMP.
* On upgraded deployments, `created_date` and `expired_date` may
  be using DATETIME or TIMESTAMP (depending on the particular history
  and administrative decisions).

After
------------------------------
* On all deployments, `created_date` and `expired_date` are TIMESTAMP.

Civi\Angular\Manager - Use PSR-16 compliant cache key

CRM_Contact_BAO_ContactType - Use PSR-16 compliant cache key

CRM_Core_BAO_CacheTest - Unit test for CRM_Core_BAO_Cache::cleanKey

CRM_ACL_BAO_ACL - Use PSR-16 compliant cache key

CRM_Core_PseudoConstant - Use PSR-16 compliant cache key

CRM_Cxn_CiviCxnHttp - Use PSR-16 compliant cache key

CRM_Extension_Mapper - Use PSR-16 compliant cache key

CRM_Core_OptionGroup - Use PSR-16 compliant cache key

SettingsManager - Use PSR-16 compliant cache key

CRM_Core_BAO_Cache - Use PSR-16 compliant cache key (for extra cache tier)

Merge pull request #12354 from totten/master-cache-b64

 (dev/core#174) civicrm_cache - Allow storage of binary data

NFC code cleanup of CRM_Friend_BAO_Friend class

Merge pull request #12363 from JMAConsulting/dev-core-41

dev/core#41: Added unit test

dev/core#41: Add unit test

Merge pull request #12357 from pradpnayak/issues-203

dev/core/issues/203, removed cruft code

dev/core/issues/203, removed cruft code

CRM_Core_BAO_Cache - Load/store binary data in cache (via base64)

CRM_Core_BAO_CacheTest - Test more example values

Merge pull request #12332 from eileenmcnaughton/token

Add support for hidden fields in general (and 'token' specifically) on the payment form.

Merge pull request #11241 from mattwire/CRM-21392_find_groups_viewcomponents

CRM-21392 Allow viewing groups/smartgroups as as other entities (eg. memberships, events)

Merge pull request #12351 from JMAConsulting/dev-core-41

dev/core#41: Search Builder: Not empty with date or integer custom fields gives a sql warning

Merge pull request #12317 from mattwire/grant_form_task

dev/core#187 Fix typo in CRM_Grant_Form_Task that prevents retrieving session key from URL

dev/core#41: Search Builder: Not empty with date or integer custom fields gives a sql warning

Merge pull request #12349 from jitendrapurohit/profilefix

Fix profile load on update multiple action

Fix profile load on update multiple action

Merge pull request #12347 from totten/master-hook-reset

(NFC) CiviUnitTestCase - Fix edge-case for mis-reported error

CiviUnitTestCase - Fix edge-case for mis-reported error

Suppose you run a test and it encounters an error very early in process --
e.g.  while processing `setUp()`, before constructing the instance of
`$this->hookClass`.  It then proceeds to `tearDown()`. Later, the test
runner will give you a report on the rrors.

Before
------------

The `tearDown` fails because the missing instance of `$this->hookClass`
raises another error, and test-report shows this misleading reference.

After
------------

The `tearDown` proceeds, and the test-report shows the real cause
of the failure.

Merge pull request #12331 from totten/master-default-prefix

(dev/core#174) CRM_Utils_Cache - Always use a prefix. Standardize delimiter

Merge pull request #12228 from MiyaNoctem/CRM-151-fix-actions-on-membership-recurring-contribution-list

dev/core#151: Allow to Edit Recurring Contributions From Membership

Merge pull request #12178 from jitendrapurohit/membership-4

dev/membership#4 - Admin Membership type is displayed on Public contr…

CRM-151: Allow to Edit Recurring Contributions From Membership

A check for payment processor id was causing all recurring contributions shown
on membership details view to never show the 'Edit' action, as this value was
not availble. Fixed by removing check, as it is no longer required.

Merge pull request #12341 from eileenmcnaughton/matt

Remove unused instances of usedTable

Merge pull request #12339 from colemanw/colors

Use html5 color input for contribution page widget

Remove unused instances of useTable var

Merge pull request #12316 from mattwire/core_task_code_cleanup

NFC Code cleanup to core task class

Merge pull request #12336 from totten/master-status-check

(dev/core#174) systemStatusCheckResult - Migrate from settings to cache

CRM_Utils_Cache_SqlGroup - Don't encourage infinite recursion

The `deleteGroup(...$clearAll...)` option is heavy-handed and leads to
call-paths that hard to grok.

In the current design of CRM_Core_BAO_Cache (with multi-tier caching), one
does need to clear these things.  But let's not clear everything under the
sun...

(dev/core#174) System::flushCache() - Continue existing behavior aftering fixing prefixes

The preceding update to `CRM_Utils_Cache` meant that `CRM_Utils_Cache::singleton()->flush()`
(aka `Civi::cache()->flush()`) would flush only the *default* cache. This revision
ensures that a general system-flush still hits the same caches.

However, we can now define *other* caches which *won't* be hit by system-flush.

CRM_Cxn_CiviCxnHttp - Expose getCache() function

(dev/core#174) CRM_Utils_Cache - Always use a prefix. Standardize delimiter.

"Prefixes" are a way to have one cache-server (e.g. one instance of redis or memcached)
which stores several different data-sets. `CRM_Utils_Cache` uses prefixes in a couple ways:

* (1) General site prefix (controlled via `civicrm.settings.php`)
    * (1a) If you have a single-site deployment, then the general prefix is blank.
    * (1b) If you have a multi-site deployment, then each site should use a different prefix (`mysite_1`, `mysite_2`, etc).
* (2) Within a given deployment, prefixes may indicate different logical data-sets.
    * (2a) `Civi::cache()` or `Civi::cache('default')` or `CRM_Utils_Cache::singleton()` are the `default` data-set.
    * (2b) `CRM_Utils_Cache::create()` can instantiate new, special-purpose
      data-sets. For example, this is used for `Civi::cache('js_strings')`.

This patch addresses two issues:

 * (Functional) Flushing the 'default' cache would likely flush all other caches
   because the 'default' cache didn't have a distinctive prefix. (This was observed Redis. Theoretically,
   the bug would apply to some-but-not-all cache backends.)
 * (Aesthetic) The full cache paths don't look consistent because they don't have a standard dlimiter.

To fully understand, it helps to see example cache keys produced in a few
configurations before and after the patch.

See also: https://lab.civicrm.org/dev/core/issues/174

Before
-----------------------------

| |Deployment Type|Logical Cache  |Combined Cache Prefix |Example Cache Item (`foobar`)|
|-|-|---------------|-------|-----------------|
|1a,2a|Single-site|`default`    |(empty-string)|`foobar`|
|1a,2b|Single-site| `js_strings` |`_js_strings`|`_js_stringsfoobar`|
|1b,2a|Multi-site |`default`    |`mysite_1_`|`mysite_1_foobar`|
|1b,2b|Multi-site |`js_strings` |`mysite_1_js_strings`|`mysite_1_js_stringsfoobar`|

* If you have a single-site deployment and try to flush `default`, you
  inadvertently flush `js_strings` because everything matches the empty-string prefix.
* If you have a multi-site deployment and try to flush `default`, you
  inadvertently flush `js_strings` because the prefix overlaps.
* The three parts of the key (deployment ID, logical cache, and cache item) are not necessarily separated.

After
-----------------------------

| |Deployment Type|Logical Cache  |Combined Cache Prefix |Example Cache Item (`foobar`)|
|-|-|---------------|-------|-----------------|
|1a,2a|Single-site|`default`    |`/default/`|`/default/foobar`|
|1a,2b|Single-site|`js_strings` |`/js_strings/`|`/js_strings/foobar`|
|1b,2a|Multi-site |`default`    |`mysite_1/default/`|`mysite_1/default/foobar`|
|1b,2b|Multi-site |`js_strings` |`mysite_1/js_strings/`|`mysite_1/js_strings/foobar`|

* If you have a single-site deployment and try to flush `default`, you
  only flush `default` because the prefixes are distinct.
* If you have a multi-site deployment and try to flush `default`, you
  only flush `default` because the prefixes are distinct.
* The three parts of the key (deployment ID, logical cache, and cache item) are always separated by `/`.

Comments
--------

When developing this patch, I found it helpful to:

* Enable Redis driver
* Open `redis-cli` and view the list of cache items with `keys *`.

Fix missing quote

Use html5 color input for contribution page widget

Merge pull request #12330 from totten/master-flush-prefix

(dev/core#174) CRM_Utils_Cache_Redis::flush() - Respect prefixes

Merge pull request #12338 from seamuslee001/bootstrap_mailing_2

Ensure classes are the same across all workflow templates

Ensure classes are the same across all workflow templates

Merge pull request #12270 from eileenmcnaughton/systememail

Towards CRM-17753 - consolidate code location for do-not-reply@mydomain.com

Merge pull request #12013 from seamuslee001/button_bootstrap_classes_mailing

Add in bootstrap button classes to CiviMail interface

systemStatusCheckResult - Migrate from settings to cache

This is fundamentally an ephemeral value. Storing this in the settings
table prevents one from accessing the system with a read-only database.

Civi\Core\Container - Make it easier to define more named caches

Add in new classe to buttons in CiviMail Interface to allow them to be themed up independantly by themes

Further remove bootstrap class infavor of namespaced class

Merge pull request #12335 from civicrm/5.3

5.3 merge to master

Merge pull request #12333 from pradpnayak/185

dev/core/issues/189, fixed smarty error

Add support for hidden fields in general and 'token' specifically on payment form.

It is common enough for payment processors to store a hidden token on the form that we should specifically support it. In general
the processor can add other fields of type hidden and they should show up.

Merge pull request #12176 from vinuvarshith/dev-core-133-reply-to-check

dev/core/#133 Make Conditions Stricter When Checking If Reply-To Field Is Empty

dev/core/#133 Make Conditions Stricter When Checking If Reply-To Field Is Empty

dev/core/#133 Retain existing behaviour on update and only be aggressive on adding new

fixed smarty error

(dev/core#174) CRM_Utils_Cache_Redis::flush() - Respect prefixes

When flushing caches for an instance of `CRM_Utils_Cache_Redis`, you should
only delete the items with the matching prefix.

For example, we have two cache services for `js_strings` and
`community_messages`.  These caches always use the same backend with
different naming/prefixes. The backend depends on the system configuration...
might be Redis, Memcache, or SqlGroup. Let's suppose the configuration is `Redis`.

To consider the before/after, it helps to have these two snippets for reference:

```
1: Civi::cache('js_strings')->flush();
2: Civi::cache('community_messages')->flush();
```

Before
------

Flushing `js_strings` has the side-effect of flushing everything
else in Redis, such as `community_messages`.

After
-----

Flushing `js_strings` only flushes `js_strings`.

Comments
--------

The example above focuses on two relatively obscure caches.  In the future,
as part of dev/core#174, it will become possible to store sessions in Redis.
And then it will be more important -- e.g.  if a user creates a custom-field,
you do want to flush one set of data (e.g. the contact-fields cache), but you
don't want to flush another (e.g. the user sessions).

The current commit fixes Redis.  Although it's outside the scope of this
commit, here's an assessment of other drivers:

* `APCcache`, `ArrayCache`, `NoCache` should be fine already.
* `SqlGroup` is sort of right, sort of not. Another patch will address that.
* `Memcache` and `Memcached` look like they have the same bug. I don't
  have these systems locally, so I haven't tried to patch.

Merge pull request #12329 from eileenmcnaughton/master

[NFC] Stop passing no-longer-part-of-signature variable

Stop passing no-longer-part-of-signature variable

Merge pull request #12313 from mattwire/CRM-21682_api_v3_membership_cleanup

Cleanup of api_v3_membership_create towards #11556

Merge pull request #12322 from totten/master-unused-modulepaths

(dev/core#174) Remove reference to unused `modulePaths`

Merge pull request #12311 from totten/master-tmpnam

(dev/core#183) Temporary tables should follow consistent naming convention

Merge pull request #12160 from aydun/core_124_event_approval_fixes

dev/core#124 Enhancements for events requiring approval

Merge pull request #12323 from totten/master-flush-sig

(NFC) dev/core#174 - CRM_Utils_System::flushCache - Remove dead code

Merge pull request #12328 from civicrm/5.3

5.3 to master

Merge pull request #12326 from pradpnayak/185

dev/core/issues/185 “Print selected rows” option missing in Event Participant listing dropdown actions

Merge pull request #12324 from colemanw/ApiExporerFix

Fix typo in api explorer sample code

Wrong key assigned to task action

Fix typo in api explorer sample code

(NFC) dev/core#174 - CRM_Utils_System::flushCache - Remove dead code

Before
------

* The signature of `CRM_Utils_System::flushCache` does not accept arguments.
* Random forms call it with arguments.

After
-----

* The signature of `CRM_Utils_System::flushCache` does not accept arguments.
* Random forms call it without arguments.

CRM_Utils_SQL_TempTable - Improve docblock

Merge pull request #12321 from totten/master-unused-setitem

(dev/core#174) api_v3_SettingTest - Remove dead code

(dev/core#174) Remove reference to unused `modulePaths`

The cache-clear operation removes this setting, but the setting does not
really exist today.  (Simply grep universe for `modulePaths` to see this.)
If you dig up the JIRA reference, it talks about the internals of v4.2.
There's been a lot of change in how this stuff works since v4.2.