Merge pull request #13488 from colemanw/helpOverride

Allow help text to be overridden from an .extra.hlp file

Merge pull request #13506 from colemanw/profileCreate

Fix permission checks on contact create popups

Merge pull request #13512 from eileenmcnaughton/cont_annual_speed

Speed up loading of contribution tab on contacts with large number of contributions in a large database

Merge pull request #13513 from colemanw/Fix

Fix undefined throwing error in CRM.checkPerm

Merge pull request #13514 from totten/master-nack-rev

(dev/core#635) CRM_Utils_Cache::nack() - Fix format

Merge pull request #13298 from colemanw/extCompat

Add extension compatibility list

(dev/core#635) CRM_Utils_Cache::nack() - Fix format

This is a follow-up to #13500.

Before
------

* `CRM_Utils_Cache::nack()` returns an array with a value named `nack`.
* The value returned is somewhat unique -- a random value is generated once per page-view.
* There is no explicit/direct unit-test.

After
-----

* `CRM_Utils_Cache::nack()` returns a string.
* The value returned is more unique -- combining that random value (per page-view) and an offset (per invocation).
* There is an explicit/direct unit-test.

Comments
--------

* The code was originally written with the intent of returning a string.
  However, there was a slight copy-paste error which caused it to return an
  array (which contained that string).  Functionally, that worked (because
  it was serializable and met the same minimum uniqueness constraint),
  but it's weird to read/inspect, and we should change quickly before
  something else locks-in the odd structure.

* The more unique the nack-value is, the more correct the nack-checking
  pattern is.  Appending a static-counter is a simple, fast way to provide
  stronger uniqueness within a page-view.

* There may be some obscure edge-cases in which the previous pattern was not
  sufficiently unique -- e.g.  combining tiers-of-tiers or
  decorators-of-decorators.  I haven't verified that, but it seems
  unimportant given that the static-counter is so straightforward.

* In `NaiveHasTrait`, the extra `ht` suffix was an attempt to increase the
  uniquness.  However, the static-counter seems better.

Fix undefined throwing error in CRM.checkPerm

Fix permission checks on contact create popups

Merge pull request #13496 from totten/master-cache-tier

(dev/core#635) Implement local array-cache for use with Redis/Memcache

CRM_Utils_Cache::create() - Accept new option `withArray`

This adds and documents a new config option which can be passed into the cache factory.

The option, `withArray`, indicates that we prefer to have a thread-local
array acting as an extra cache-tier.

Implement CRM_Utils_Cache_FastArrayDecorator

Implement CRM_Utils_Cache_ArrayDecorator

This allows you to put a static array in front of another cache.  It is the
same basic idea as CRM_Utils_Cache_Tiered, but it's optimized for a typical case
where you only want one front-cache.

Based on some naive benchmarking (performing several trials with a few
thousand duplicate reads over the same cached data), this basically cut the
read-time in half.  The following is pretty representative of the results:

```
Redis-only cache               write=0.1044s   read=1.3266s
2-Tier (ArrayCache+Redis)      write=0.1189s   read=0.3765s
Decorated-Redis cache          write=0.1105s   read=0.1505s
```

See also: https://gist.github.com/totten/6d6524be115c193e0704ff3cf250336d

Note: To ensure that TTL data is respected consistently regardless of how
the tiers behave and the order in which they are used, the TTL/expiration
must be stored extra times.

Implement CRM_Utils_Cache_Tiered

Before
------
* No way to daisy-chain caches to form a cache hierarchy
* ArrayCache::reobjectify() would fail to reobjectify objects in an array, which seems against the spirit of PSR-16

After
-----
* You can create a cache hierarchy with `new CRM_Utils_Cache_Tiered([$fastCache, $mediumCache, $slowCache])`
* ArrayCache::reobjectify() will reobjectify if it detects an object directly in an array

Note: To ensure that TTL data is respected consistently regardless of how
the tiers behave and the order in which they are used, the TTL/expiration
must be stored extra times.

ArrayCache::getExpires() - Add helper for unit testing

Merge pull request #13500 from totten/master-nack

(REF) Add CRM_Utils_Cache::nack(). Use it for NaiveHasTrait.

Merge pull request #13511 from greenpeace-cee/optimize-creditnote

CRM/Contribute - Add query optimization for creditnote_id

Alter the query used to render the yearly totals on the contact contribution tab to make a better index choice.

This PR restructures the  annual query to use HAVING clause for contribution_status_id in order to
avoid the (edge case) situation where it uses a combined index resulting in a slow query. When a contribution is entered
the screen loaded on-close is the contribution tab so when this is slow the data entry process is much slowed.

Mmsql index merge optimisation is a default enabled setting which can choose to use 'merged indexes' rather than
just one. In this query the best index is contact_id because even when a contact has a relatively large number of
contributions they are still trivial compared to the overall DB. By contrast contribution_status_id is not a good
choice as it has fairly low variability and when used in combination with contact_id adds very little as trade off for the time
it takes to construct a merge index

What we are seeing is that the index choice on this query is
index_contribution_status,received_date,FK_civicrm_contribution_contact_id,contact_id_contribution_status | FK_civicrm_contribution_contact_id,index_contribution_status

which results in a query that takes around 6 seconds on a contact with 18k contributions in a DB of around 30 million contributions.

If we restructure the query so that it looks like

```
     SELECT COUNT(*) as count,
             SUM(total_amount) as amount,
             AVG(total_amount) as average,
             currency
      FROM civicrm_contribution  b

      WHERE b.contact_id IN (72) AND b.receive_date >= 20180701 AND b.receive_date <  20190701
      GROUP BY currency, contribution_status_id
      HAVING contribution_status_id = 1;
```

the selected index is  FK_civicrm_contribution_contact_id and the query takes .05 seconds.

This restructure achieves much the same as using an index hint but as there is some index naming inconsistency
'in the wild' changing the query structure like this makes more sense.

 Note that I ALSO tested this
1) on the same database on a contact with a negligible number of contributions
2) on a much smaller database (~400k contributions) on a contact with 122 contributions.

In both cases it made no difference to which key was chosen as the merge index appears to only be chosen by mysql
when more than a certain number of on contributions adhere to a single contact.

In the latter case the query time for both versions was recorded as 0.00 so I couldn't see any difference.

In the former case the query change sped up the query from 0.02 to 0.00 so there is some additional efficiency
in the new query beyond the index choice

Links on index merge optimisation
https://www.percona.com/blog/2012/12/14/the-optimization-that-often-isnt-index-merge-intersection/
http://gobitcan.com/blog/2014-12-03-what-to-do-when-mysql-ignores-your-index
http://mysqlopt.blogspot.com/2013/05/mysql-slow-query-example-of-index-merge.html
https://www.percona.com/blog/2012/12/14/the-optimization-that-often-isnt-index-merge-intersection/
https://stackoverflow.com/questions/16283472/why-is-mysql-showing-index-merge-on-this-query
https://mariadb.com/kb/en/library/fair-choice-between-range-and-index_merge-optimizations/
https://dba.stackexchange.com/questions/178286/mysql-on-rds-avoiding-index-merge
https://mariadb.com/kb/en/library/index_merge-sort_intersection/
https://stackoverflow.com/questions/47943755/mysql-optimizing-subquery-with-index-merge
https://dev.mysql.com/doc/refman/8.0/en/index-merge-optimization.html

CRM/Contribute - Add query optimization for creditnote_id

This adds a minor query optimization to createCreditNoteId() that
should significantly improve performance when contributions are
cancelled or refunded in environments with many contributions.

Fix bug in Annual summary query (on contact dashboard) whereby a left join gives the wrong results

    As demonstrated in the test the left join does not do any filtering but it DOES join in as many line items as match the
    permitted types - resulting in too many rows & the sum calculated on them being incorrect.

    As this doesn't work it should be removed - I would aniticpate that sites with the financialreportacls extensions
    would get this adequately added through CRM_Financial_BAO_FinancialType::addACLClausesToWhereClauses
    but regardless this should go as it causes a bug without achieving it's intended result and adding a test prevents
    a later fix from re-breaking

Merge pull request #13509 from ixiam/dev-duplicateCreateCreditNote

remove duplicated call to createCreditNoteId()

remove duplicate call to createCreditNoteId()

Merge pull request #13319 from eileenmcnaughton/cont_queries

Add selectWhere hook call to the query that generates the 'annual' query - the 'amount this year' on a contact dash

Add ACL hook call and test to financial ACLs

If the hook call changes the where cause we will not implement the
core pseudo-hook-code for financial type acls.

This allows us to not conflict with reportfinancialacls extension
Eventually we will not have any of this in core other than the hook.

Merge pull request #13501 from civicrm/5.10

5.10

Merge pull request #13505 from mattwire/caseview_fatalerror

Display error instead of fatal error when trying to view a case that you don't have permission to access

Merge pull request #13460 from mattwire/case_getlabel_pseudoconstant

Convert deprecated OptionGroup::getLabel to PseudoConstant::getLabel for cases

Convert deprecated OptionGroup::getLabel to PseudoConstant::getLabel for case

Merge pull request #13485 from colemanw/grantTaskDate

dev/core#561 - Convert grant task form to datepicker

Merge pull request #13497 from jitendrapurohit/core-681

dev/core#681 - Fatal Error on submitting "Change Case Status" activit…

Merge pull request #13491 from colemanw/campaign

Convert Campaign widgets to entityRef

Merge pull request #13493 from colemanw/entityRefFilters

dev/core#677 EntityRef filters fixes

Show error popup and return to dashboard instead of showing fatal error page when trying to access case that you do not have permission for

Merge pull request #13503 from colemanw/numberWidget

Survey form - use number widget for number fields

dev/core#561 - Convert grant task form to datepicker

Survey form - use number widget for number fields

Merge pull request #13421 from chamilwijesooriya/issue-650

dev/core#650 Use popups for links

Merge pull request #13490 from colemanw/Fix

Fix broken date fields in survey response form

Merge pull request #12647 from compucorp/fix-case-type-issues

Case type management fixes

Merge pull request #13478 from pradpnayak/eventRegression

dev/core/issues/653, fixed regression on creating new event using event template

NaiveHasTrait - Reduce roundtrips in `has()`

The `NaiveHasTrait` is a generic implementation of PSR-16 `has()` which
builds on the logic of PSR-16 `get()`.  This reduces I/O for `has()`.

Before
------
* Each call to `has()` triggers two calls to `get()`.

After
-----
* Each call to `has()` triggers one call to `get()`.

Comments
--------

The correctness of this stems from the uniqueness of the `$nack` value.  To
wit: if you always use the same constant (e.g.  `NULL` or `0` or `''` or
`'no-value'`) to signify a cache-miss, then it's trivial to produce a
collision/incorrect-result.  (Simply store that constant.) But if the value
is a sufficiently unique nonce, then it becomes impractical to produce a
collision/incorrect-result.

CRM_Utils_Cache::nack() - Add helper for combining get()+has() calls in PSR-16

Merge pull request #13480 from pradpnayak/AdvanceSearch

dev/core/issues/506, Fatal error on advance search when using cases from display results as

dev/core#681 - Fatal Error on submitting "Change Case Status" activity form

dev/core/issues/653, fixed regression on creating new event using event template

Use core function to over-ride values

Merge pull request #13495 from seamuslee001/lab_core_676

dev/core#676 Disable GeoCoding Tests for PR jobs and re-enable Mailin…

dev/core#676 Disable GeoCoding Tests for PR jobs and re-enable Mailing Test jobs for PRs previously disabled now fixed

Merge pull request #13492 from pradpnayak/typoErrors

Removed '>' from comment

Merge pull request #13461 from christianwach/lab-666

Fix trailing ampersands when empty array passed as query param

Hide gender & deceased filters for non-individual entityRef

Fix entityRef contact type filter

Removed '>' from comment

Convert addCampaignToComponent widget to entityRef

Campaign entityRef improvements

Use entityRef for campaigns on Survey & Petition forms

Allow entityRef widget to create campaigns

Fix broken date fields in survey response form

Merge pull request #13456 from mfb/geocode-country_id

geocode job: Provide country_id to geocoders.

Merge pull request #13482 from jgillmanjr/front_contribution_page

Test-drive contribution pages to the front

Merge pull request #13427 from chamilwijesooriya/issue-652

GitLab issue 652 Copying activity file custom data doesn't copy mime …

Merge pull request #13486 from deb1990/core-670-fix-activity-tags

(WIP) dev/core#670 - Fix Saving of Case Activity tags

Remove inconsistent & problematic hook invocation

Allow help text to be overridden from an .extra.hlp file

dev/core#670 - Fix saving of tags in case activity

Merge pull request #13437 from mattwire/ref_simplifybillingblock_template

Simplify billingblock in Contribution/Form/Main template

Merge pull request #13473 from deb1990/C51-384-add-case-token-in-email

C51-384: Added case tokens on Email Activity Modal

Merge pull request #13457 from mattwire/contact_note

REF Remove undefined variable when creating note

Merge pull request #13481 from laryn/patch-1

Add main nav icon for CiviCRM (Backdrop)

Removed extra space

Merge pull request #13479 from pradpnayak/cruftCode

removed unwanted parameter from getLineItems()

Add main nav icon for CiviCRM

(since Backdrop core now has main nav icons)

Specify front end (where applicable) when getNotifyUrl is called

Force test contribution pages to front end

Merge pull request #13452 from eileenmcnaughton/depre

Deprecate unused function

dev/core/issues/506, Fatal error on advance search when using cases from display results as

removed unwanted parameter from getLineItems()

Merge pull request #13317 from eileenmcnaughton/order_pseudo

Fix order api to support a pseudoConstant for financial_type_id

Fix order api to support a pseudoConstant for financial_type_id

Adds functionality & test to support 'Event Fee' instead of '4' for Order.create financial_type_id.

This improves consistency with Contribution.create api and others

Merge pull request #13474 from JMAConsulting/dev-financial-39

dev/financial#39: Drop checkMD5 support from Authorize.net

Merge pull request #13475 from civicrm/5.10

5.10 to master

Merge pull request #13451 from eileenmcnaughton/everyone_510

(dev/core#660) Address regression whereby Anonymous users can no longer register for an event if they have ACLs to see a contact

dev/financial#39: Drop checkMD5 support from Authorize.net

Merge pull request #13324 from agileware/CIVICRM-947

Email sent from CiviCRM for a new Case and Activity does not evaluate the $activityTypeName or $manageCaseURL tokens

Merge pull request #13471 from seamuslee001/nfc_note_tests

(NFC) Add unit test of creating notes from the contact.create API

C51-384: Added case tokens on Email Modal

(NFC) Add unit test of creating notes from the contact.create API

Merge pull request #13439 from jgillmanjr/paypal-standard-ipn-tz-fix

Convert Paypal Standard IPN payment_date to system's time zone

Merge pull request #13442 from eileenmcnaughton/paymen_line

Remove inappropriate exception handling.

Merge pull request #13466 from colemanw/tsFix

Translate untranslated string

Merge pull request #13458 from mattwire/unused_var_caseformcustomdata

REF Remove duplicate call to session singleton

Merge pull request #13453 from eileenmcnaughton/report_tpl

Escape the header title & section title in reports to better support extensions

Merge pull request #13465 from mlutfy/setLocale

setLocale: precaution for when setLocale is called on an unilingual site

Translate untranslated string

Activity emails: Fix activityTypeName template var & fix priority_id label

Merge pull request #13455 from eileenmcnaughton/payment_email_test

Add unit test for emailing receipts from additional payment page

setLocale: precaution for when setLocale is called on an unilingual site

Fix trailing ampersands when empty array passed as query param

Remove undefined variable when creating note

Remove duplicate call to session singleton

Remove foreign key on civicrm_acl_contact_id.user_id.

This won't actually remove it from installs - we need to address that separately via ensuring people can and do run
the System.updateIndices api call but it removes it from new installs and from
tests, hence the test should pass