Merge pull request #12351 from JMAConsulting/dev-core-41

dev/core#41: Search Builder: Not empty with date or integer custom fields gives a sql warning

Merge pull request #12317 from mattwire/grant_form_task

dev/core#187 Fix typo in CRM_Grant_Form_Task that prevents retrieving session key from URL

dev/core#41: Search Builder: Not empty with date or integer custom fields gives a sql warning

Merge pull request #12349 from jitendrapurohit/profilefix

Fix profile load on update multiple action

Fix profile load on update multiple action

Merge pull request #12347 from totten/master-hook-reset

(NFC) CiviUnitTestCase - Fix edge-case for mis-reported error

CiviUnitTestCase - Fix edge-case for mis-reported error

Suppose you run a test and it encounters an error very early in process --
e.g.  while processing `setUp()`, before constructing the instance of
`$this->hookClass`.  It then proceeds to `tearDown()`. Later, the test
runner will give you a report on the rrors.

Before
------------

The `tearDown` fails because the missing instance of `$this->hookClass`
raises another error, and test-report shows this misleading reference.

After
------------

The `tearDown` proceeds, and the test-report shows the real cause
of the failure.

Merge pull request #12331 from totten/master-default-prefix

(dev/core#174) CRM_Utils_Cache - Always use a prefix. Standardize delimiter

Merge pull request #12228 from MiyaNoctem/CRM-151-fix-actions-on-membership-recurring-contribution-list

dev/core#151: Allow to Edit Recurring Contributions From Membership

Merge pull request #12178 from jitendrapurohit/membership-4

dev/membership#4 - Admin Membership type is displayed on Public contr…

CRM-151: Allow to Edit Recurring Contributions From Membership

A check for payment processor id was causing all recurring contributions shown
on membership details view to never show the 'Edit' action, as this value was
not availble. Fixed by removing check, as it is no longer required.

Merge pull request #12341 from eileenmcnaughton/matt

Remove unused instances of usedTable

Merge pull request #12339 from colemanw/colors

Use html5 color input for contribution page widget

Remove unused instances of useTable var

Merge pull request #12316 from mattwire/core_task_code_cleanup

NFC Code cleanup to core task class

Merge pull request #12336 from totten/master-status-check

(dev/core#174) systemStatusCheckResult - Migrate from settings to cache

CRM_Utils_Cache_SqlGroup - Don't encourage infinite recursion

The `deleteGroup(...$clearAll...)` option is heavy-handed and leads to
call-paths that hard to grok.

In the current design of CRM_Core_BAO_Cache (with multi-tier caching), one
does need to clear these things.  But let's not clear everything under the
sun...

(dev/core#174) System::flushCache() - Continue existing behavior aftering fixing prefixes

The preceding update to `CRM_Utils_Cache` meant that `CRM_Utils_Cache::singleton()->flush()`
(aka `Civi::cache()->flush()`) would flush only the *default* cache. This revision
ensures that a general system-flush still hits the same caches.

However, we can now define *other* caches which *won't* be hit by system-flush.

CRM_Cxn_CiviCxnHttp - Expose getCache() function

(dev/core#174) CRM_Utils_Cache - Always use a prefix. Standardize delimiter.

"Prefixes" are a way to have one cache-server (e.g. one instance of redis or memcached)
which stores several different data-sets. `CRM_Utils_Cache` uses prefixes in a couple ways:

* (1) General site prefix (controlled via `civicrm.settings.php`)
    * (1a) If you have a single-site deployment, then the general prefix is blank.
    * (1b) If you have a multi-site deployment, then each site should use a different prefix (`mysite_1`, `mysite_2`, etc).
* (2) Within a given deployment, prefixes may indicate different logical data-sets.
    * (2a) `Civi::cache()` or `Civi::cache('default')` or `CRM_Utils_Cache::singleton()` are the `default` data-set.
    * (2b) `CRM_Utils_Cache::create()` can instantiate new, special-purpose
      data-sets. For example, this is used for `Civi::cache('js_strings')`.

This patch addresses two issues:

 * (Functional) Flushing the 'default' cache would likely flush all other caches
   because the 'default' cache didn't have a distinctive prefix. (This was observed Redis. Theoretically,
   the bug would apply to some-but-not-all cache backends.)
 * (Aesthetic) The full cache paths don't look consistent because they don't have a standard dlimiter.

To fully understand, it helps to see example cache keys produced in a few
configurations before and after the patch.

See also: https://lab.civicrm.org/dev/core/issues/174

Before
-----------------------------

| |Deployment Type|Logical Cache  |Combined Cache Prefix |Example Cache Item (`foobar`)|
|-|-|---------------|-------|-----------------|
|1a,2a|Single-site|`default`    |(empty-string)|`foobar`|
|1a,2b|Single-site| `js_strings` |`_js_strings`|`_js_stringsfoobar`|
|1b,2a|Multi-site |`default`    |`mysite_1_`|`mysite_1_foobar`|
|1b,2b|Multi-site |`js_strings` |`mysite_1_js_strings`|`mysite_1_js_stringsfoobar`|

* If you have a single-site deployment and try to flush `default`, you
  inadvertently flush `js_strings` because everything matches the empty-string prefix.
* If you have a multi-site deployment and try to flush `default`, you
  inadvertently flush `js_strings` because the prefix overlaps.
* The three parts of the key (deployment ID, logical cache, and cache item) are not necessarily separated.

After
-----------------------------

| |Deployment Type|Logical Cache  |Combined Cache Prefix |Example Cache Item (`foobar`)|
|-|-|---------------|-------|-----------------|
|1a,2a|Single-site|`default`    |`/default/`|`/default/foobar`|
|1a,2b|Single-site|`js_strings` |`/js_strings/`|`/js_strings/foobar`|
|1b,2a|Multi-site |`default`    |`mysite_1/default/`|`mysite_1/default/foobar`|
|1b,2b|Multi-site |`js_strings` |`mysite_1/js_strings/`|`mysite_1/js_strings/foobar`|

* If you have a single-site deployment and try to flush `default`, you
  only flush `default` because the prefixes are distinct.
* If you have a multi-site deployment and try to flush `default`, you
  only flush `default` because the prefixes are distinct.
* The three parts of the key (deployment ID, logical cache, and cache item) are always separated by `/`.

Comments
--------

When developing this patch, I found it helpful to:

* Enable Redis driver
* Open `redis-cli` and view the list of cache items with `keys *`.

Fix missing quote

Use html5 color input for contribution page widget

Merge pull request #12330 from totten/master-flush-prefix

(dev/core#174) CRM_Utils_Cache_Redis::flush() - Respect prefixes

Merge pull request #12338 from seamuslee001/bootstrap_mailing_2

Ensure classes are the same across all workflow templates

Ensure classes are the same across all workflow templates

Merge pull request #12270 from eileenmcnaughton/systememail

Towards CRM-17753 - consolidate code location for do-not-reply@mydomain.com

Merge pull request #12013 from seamuslee001/button_bootstrap_classes_mailing

Add in bootstrap button classes to CiviMail interface

systemStatusCheckResult - Migrate from settings to cache

This is fundamentally an ephemeral value. Storing this in the settings
table prevents one from accessing the system with a read-only database.

Civi\Core\Container - Make it easier to define more named caches

Add in new classe to buttons in CiviMail Interface to allow them to be themed up independantly by themes

Further remove bootstrap class infavor of namespaced class

Merge pull request #12335 from civicrm/5.3

5.3 merge to master

Merge pull request #12333 from pradpnayak/185

dev/core/issues/189, fixed smarty error

Merge pull request #12176 from vinuvarshith/dev-core-133-reply-to-check

dev/core/#133 Make Conditions Stricter When Checking If Reply-To Field Is Empty

dev/core/#133 Make Conditions Stricter When Checking If Reply-To Field Is Empty

dev/core/#133 Retain existing behaviour on update and only be aggressive on adding new

fixed smarty error

(dev/core#174) CRM_Utils_Cache_Redis::flush() - Respect prefixes

When flushing caches for an instance of `CRM_Utils_Cache_Redis`, you should
only delete the items with the matching prefix.

For example, we have two cache services for `js_strings` and
`community_messages`.  These caches always use the same backend with
different naming/prefixes. The backend depends on the system configuration...
might be Redis, Memcache, or SqlGroup. Let's suppose the configuration is `Redis`.

To consider the before/after, it helps to have these two snippets for reference:

```
1: Civi::cache('js_strings')->flush();
2: Civi::cache('community_messages')->flush();
```

Before
------

Flushing `js_strings` has the side-effect of flushing everything
else in Redis, such as `community_messages`.

After
-----

Flushing `js_strings` only flushes `js_strings`.

Comments
--------

The example above focuses on two relatively obscure caches.  In the future,
as part of dev/core#174, it will become possible to store sessions in Redis.
And then it will be more important -- e.g.  if a user creates a custom-field,
you do want to flush one set of data (e.g. the contact-fields cache), but you
don't want to flush another (e.g. the user sessions).

The current commit fixes Redis.  Although it's outside the scope of this
commit, here's an assessment of other drivers:

* `APCcache`, `ArrayCache`, `NoCache` should be fine already.
* `SqlGroup` is sort of right, sort of not. Another patch will address that.
* `Memcache` and `Memcached` look like they have the same bug. I don't
  have these systems locally, so I haven't tried to patch.

Merge pull request #12329 from eileenmcnaughton/master

[NFC] Stop passing no-longer-part-of-signature variable

Stop passing no-longer-part-of-signature variable

Merge pull request #12313 from mattwire/CRM-21682_api_v3_membership_cleanup

Cleanup of api_v3_membership_create towards #11556

Merge pull request #12322 from totten/master-unused-modulepaths

(dev/core#174) Remove reference to unused `modulePaths`

Merge pull request #12311 from totten/master-tmpnam

(dev/core#183) Temporary tables should follow consistent naming convention

Merge pull request #12160 from aydun/core_124_event_approval_fixes

dev/core#124 Enhancements for events requiring approval

Merge pull request #12323 from totten/master-flush-sig

(NFC) dev/core#174 - CRM_Utils_System::flushCache - Remove dead code

Merge pull request #12328 from civicrm/5.3

5.3 to master

Merge pull request #12326 from pradpnayak/185

dev/core/issues/185 “Print selected rows” option missing in Event Participant listing dropdown actions

Merge pull request #12324 from colemanw/ApiExporerFix

Fix typo in api explorer sample code

Wrong key assigned to task action

Fix typo in api explorer sample code

(NFC) dev/core#174 - CRM_Utils_System::flushCache - Remove dead code

Before
------

* The signature of `CRM_Utils_System::flushCache` does not accept arguments.
* Random forms call it with arguments.

After
-----

* The signature of `CRM_Utils_System::flushCache` does not accept arguments.
* Random forms call it without arguments.

CRM_Utils_SQL_TempTable - Improve docblock

Merge pull request #12321 from totten/master-unused-setitem

(dev/core#174) api_v3_SettingTest - Remove dead code

(dev/core#174) Remove reference to unused `modulePaths`

The cache-clear operation removes this setting, but the setting does not
really exist today.  (Simply grep universe for `modulePaths` to see this.)
If you dig up the JIRA reference, it talks about the internals of v4.2.
There's been a lot of change in how this stuff works since v4.2.

Merge pull request #12314 from mattwire/CRM-21682_cleanup_recordAdditionalPayment

Cleanup recordAdditionalPayment towards #11556

Merge pull request #12318 from mattwire/inherit_core_form_task

Make all form tasks inherit from Core_Form_Task

(dev/core#174) api_v3_SettingTest - Remove unused cache reference

This unit is clearing out a non-existent cache item. To see that it is non-existent, I grepped (case-insensitive) for
the expressions:

* `CiviCRM setting Spec`
* `CiviCRM setting `
* `setting spec`

This feels like left-overs from 4.6. In 4.7, the setting cache was reworked. Note that
`SettingTest` does clear newer cache (`Civi::cache('settings')->flush();`).

Merge pull request #12218 from mattwire/getcustomfieldid

dev/core#144 getCustomFieldID switch to API, add caching, add full string return option

Merge pull request #11578 from jitendrapurohit/CRM-20697

CRM-20697 - Online pay now anomalies (contribution transfer to new contact)

getCustomFieldID switch to API, add caching, add full string return option.

Make all form task inherit from Core_Form_Task otherwise export can fail when accessed from advanced search because properties are inaccessible

NFC code cleanup to core task class

Fix typo in CRM_Grant_Form_Task that prevents retrieving session key from URL

NFC: Cleanup recordAdditionalPayment

Cleanup of api_v3_membership_create towards #11556

(dev/core#183) Change temp table naming for CRM/Contact/Form/Search/Custom/DateAdded.php

Re:`r-run` -- Verified that these lines are executed by the search form -- and
that the outcomes of a few basic searches are the same with the patch.

(dev/core#183) Change temp table naming for CRM/Contact/Form/Search/Custom/ContribSYBNT.php

Re:`r-run` -- Verified that these lines are executed by the search form -- and
that the outcomes of a few basic searches are the same with the patch.

(dev/core#183) Change temp table naming for CRM_Activity_BAO_Activity

Note: Verified that changes to this line are reflected as passes/failures in
CRM_Activity_BAO_ActivityTest.

Merge pull request #11495 from yashodha/CRM-21637

CRM-21637 - Search Criteria for Card Type ID and Card Number not resp…

(dev/core#183) Change temp table naming for reports

Testing notes - This is a pretty formulaic change.  The main concern is some kind of typo or bad table name causing a
hard-fail.  To control that risk, we just run the code in a facile way:

* Navigate to "Reports => Contributions => Lybunt"
* Add a "Filter" by "Group"

We do this procedure under a few circumstances:

* With the original code
* With a purposefully bad edit (provoking an expected error)
* With the new code

In this commit, we changed two lines, so we do the above once for each line.

(dev/core#183) Change temp table naming for exports

Testing notes - This is a pretty formulaic change.  The main concern is some kind of typo or bad table name causing a
hard-fail.  To control that risk, we just run the code in a facile way:

* Perform a contact search
* Pick some contacts
* Export them
* Run the export

We do this procedure under a few circumstances:

* With the original code
* With a purposefully bad edit (provoking an expected error)
* With the new code

(dev/core#183) Change temp table naming for search-tasks

Testing notes - This is a pretty formulaic change.  The main concern is some kind of typo or bad table name causing a
hard-fail.  To control that risk, we just run the code in a facile way:

* Perform a contact search
* Pick some contacts
* Export them

We do this procedure under a few circumstances:

* With the original code
* With a purposefully bad edit (provoking an expected error)
* With the new code

(dev/core#183) Deprecate CRM_Core_DAO::createTempTableName()

We're changing the naming formula, but some use-cases may rely on the old
naming formula.  Anything based on the old formula needs to be examined.

(dev/core#183) Add more robust TempTable generator

Merge pull request #11907 from mattwire/contribution_financialtype_fix

dev/core#88 Make sure financial_type_id is set when contribution is created

Merge pull request #12303 from totten/master-redis-errmsg

(dev/core#178) Redis - Report error messages

Merge pull request #11881 from yashodha/CRM-21854

CRM-21854 - Contribution start date and end dates are not respected

(dev/core#178) Redis - Be a little more conservative about sharing error info

Merge pull request #12309 from jaapjansma/issue_180_deleting_custom_values

Fix for #180: passing the entity ID to the custom hook when deleting a custom value

Merge pull request #11733 from eileenmcnaughton/sched

Fix access to scheduled reminders for admins without event access

Fix for #180: passing the entity ID to the custom hook when deleting a custom value record.

Merge pull request #12308 from eileenmcnaughton/getty

Only treat a request as a get request (and hence use GET) if it starts with get

Merge pull request #12304 from totten/master-redis-anon

(dev/core#179) Redis - Only send AUTH if there's a password

Only treat a request as a get request (and hence use GET) if it starts with get

Current code looks for the word 'get' anywhere in the action so the action 'forget' is also picked up.

Further down we explicitly look for 0 so we should here too.

Merge pull request #11830 from mattwire/devcore24_case_api_contact_fix

dev/core#24 Passing an array for contact_id/client_id to Case.Create API when updating an existing case causes case to be "reassigned"

Merge pull request #11481 from jitendrapurohit/CRM-21622

CRM-21622: Allow multiple parents to be created from 'New Group' form.

Merge pull request #12276 from eileenmcnaughton/memory_more

CRM-19798 fix memory leak on EntityTag.get & other calls in the DB (generic fix)

Merge pull request #12302 from totten/master-redis-null

(dev/core#177) Redis::get() should return NULL for undefined cache keys

 This is a combination of 2 commits.

Fix access to scheduled reminders form.

The current logic is that if the context is not event (empty) and the user does not
have administer CiviCRM they get bounced. if they pass that check they are then
passed into the check that should only be applied when the context IS event. This results
in a bounce for a user without any manage event access.

Remove code duplication

Declare  as a class property & get rid of e-notice handling for it.

There is no functional change here but the code change looks a little large due to the removal of a pointless if

(dev/core#179) Redis - Only send AUTH if there's a password

(dev/core#178) Redis - Report error messages

(dev/core#177) Redis::get() should return NULL for undefined cache keys

The docs for  `CRM_Utils_Cache_Interface::get()` specify that the return value should be NULL
if the key does not exist.

However, `CRM_Utils_Cache_Redis::get()` was returning FALSE in that circumstance
(because `unserialize(FALSE)===FALSE`). This fixes it comply.

Merge pull request #12301 from jitendrapurohit/core-175

dev/core#175 - Smart group involving relationship type filter display…

Merge pull request #12281 from eileenmcnaughton/cont_detail_report

Add testing to contribution detail report, covering dev/core/issues#170

Merge pull request #11883 from jitendrapurohit/core-32

core-32 - Add option to disable cancel button on a profile form

Merge pull request #11736 from jitendrapurohit/CRM-21815

CRM-21815 - re-opening a civicase - Case Coordinator (and other roles…

Merge pull request #12298 from eileenmcnaughton/notice

Fix e-notice, remove legacy code pattern

Merge pull request #12299 from eileenmcnaughton/cancel_recur

Remove unused code variable

Move upgrade function to 5.4

core-32 - Add option to disable cancel button on a profile form