Merge pull request #13533 from eileenmcnaughton/prev_next

Prev next

Disable full group by mode whe groupContacts is TRUE

This prevents an error when using the cache and allows us to move
past this without untangling the messy way other tables are joined back in
for now.

Note it became necessary due to query changes off the cache but the query is no
different in accuracy

dev/core#695 - Make custom searches slightly less fragile

dev/core#679 fix loss of search results when including tags or groups.

The bug as described was a bit tricksy to replicate as it is inconsistent and the
code is not actually outputting the tags/ groups. I think these are pre-existing issues

I was able to replicate by having 2 search profiles - one with only tags & one one with only groups & switching back & and force on output -  once I replicated I found that there was a regression due to

https://github.com/eileenmcnaughton/civicrm-core/commit/2ca46d4d5a8cd15929ac0939ca2bb380a3de027e#diff-e54381bfdf51e31cab376c71ca0d66ffR4967

whereby the groupBy had been dropped, causing the results to be squashed into a single row

Merge pull request #12834 from pradpnayak/preRelHook

Respect pre hook for relationship to alter id in $params

Merge pull request #13526 from yashodha/number_widget

use number widget for weight and other numeric fields in more forms

Merge pull request #13530 from pradpnayak/FieldLength-Activity

Used field name defined in DAO file for Activity Subject

Merge pull request #13532 from pradpnayak/xmlChanges

Add html type for civicrm_note.privacy field

Merge pull request #13489 from totten/master-ro-cache

(dev/core#635) Deprecate CRM_Core_BAO_Cache for I/O. Optionally redirect I/O to Redis or Memcache.

Merge pull request #13522 from eileenmcnaughton/activity

Performance fix for alternate getActivity listing function

Remove redundant css class from activity subject field

This is now being automatically assigned thanks to the change in 6e9c7c7

Merge pull request #13527 from JMAConsulting/core-693

dev/core#693 : On contact summary page, on submitting a 'New Case' form doesn't redirect to 'Manage Case' screen

CRM_Core_BAO_Cache - When delegating to an adapter, don't expect it to return a reference

This is following up on the code-review comments from
https://github.com/civicrm/civicrm-core/pull/13489#discussion_r252070543

use name and label to retrive ID

Merge pull request #13525 from civicrm/5.10

5.10

Add html type for civicrm_note.privacy field

Donot show group until refresh result

Added api test to support fix

Used buildoptions function to get all groups

Used field name defined in DAO file for Activity Subject

dev/core#690 - Civi\API - Fix entity permission check for trusted calls

This changes the permission check in DynamicFKAuthorization to
short-circuit on trusted API calls (check_permissions = 0) so that
no exception is thrown when it's used with entities that are not
allowed delegates.

dev/core#693 : On contact summary page, on submitting a 'New Case' form doesn't redirect to 'Manage Case' screen

use number widget for weight fields in more forms

Merge pull request #13524 from eileenmcnaughton/search_rc

Revert fix causing unreleased regression

Revert "Assign the translated formValues to itself"

This reverts commit e8ef090642f0ff5639166b847a31f4e50eec3dd6.

Revert "Rewrite testHiddenSmartGroup"

This reverts commit 7810fa53a7f5d8be82ebda7fde122d0fd349d358.

Performance fix for alternate getActivity listing function

We have an alternate function to render the activiy listing on the contact tab. It is
getActivities whereas the other is deprecatedGetActivities.

It was developed in order to replace the other and we have tests that compare the results of the 2. It is better in that it
1) performs better (on a  WMF contact with many activities this is 'snappy' while the current deprecated one gives a  white screen time out) and
2) calls the selectWhereClause hook, allowing hook alteration and respecting preferred architecture.

However, we didn't go live with it in core because it
1) has a remnant performance bugs (this PR fixes the last of these)
2) implements ACLs differently - it uses generic functions whereas the deprecated one
applies more limited permissioning. This is something to clarify & resolve separately.

This PR fixes the last remaining performance issue - best described as
'When one of the activities to be displayed has many targets the activity listing is slow to load'

The reason for the slowness is that when 'target_contact_name' is passed to the api
the api does a call for each contact to fetch the contact's sort_name. For a bulk mailing that went to 50,000 people that equates to 50,000 extra queries.

However the actual display shows the first contact name and then gives a number for how many more should be retrieved. This PR hence does not ask the api for the display name, but rather does the check itself, but
only for 1 target contact rather than ALL

Note that a similar logic might be considered for assignee - I left that out of scope as I'm not
aware of situations where a large number of assignees would be assigned to a single activity.

The unit test ensures the output matches the deprecated function.

Merge pull request #13401 from PeaceWorksTechnologySolutions/master

dev/mail#32 - Further checks - making mailing test email non-case-sensitive

Optimize CRM_Core_BAO_FinancialTrxn::getTotalPayment

Merge pull request #1 from civicrm/master

Update master from upstream

Merge pull request #13520 from yashodha/number_widget

use number widget for weight fields in all forms

use number wiget for weight fields in all forms

Merge pull request #13518 from colemanw/l10n.js

l10n.js - Reload when logging in as new user

Merge pull request #13498 from francescbassas/patch-18

dev/core#682 Add basic contact filters to Summary Contributions Report

l10n.js - Reload when logging in as new user

Merge pull request #13507 from twomice/lab686_membership_stats_columns

Fix for dev/core#686: Make "amount statistics" columns optional

Merge pull request #13502 from colemanw/shortcode

Fix shortcode button when popup setting is disabled

Fixing column/headers line up when searching for soft credits

Merge pull request #13488 from colemanw/helpOverride

Allow help text to be overridden from an .extra.hlp file

Merge pull request #13506 from colemanw/profileCreate

Fix permission checks on contact create popups

Merge pull request #13512 from eileenmcnaughton/cont_annual_speed

Speed up loading of contribution tab on contacts with large number of contributions in a large database

Merge pull request #13513 from colemanw/Fix

Fix undefined throwing error in CRM.checkPerm

Merge pull request #13514 from totten/master-nack-rev

(dev/core#635) CRM_Utils_Cache::nack() - Fix format

Merge pull request #13298 from colemanw/extCompat

Add extension compatibility list

(dev/core#635) CRM_Utils_Cache::nack() - Fix format

This is a follow-up to #13500.

Before
------

* `CRM_Utils_Cache::nack()` returns an array with a value named `nack`.
* The value returned is somewhat unique -- a random value is generated once per page-view.
* There is no explicit/direct unit-test.

After
-----

* `CRM_Utils_Cache::nack()` returns a string.
* The value returned is more unique -- combining that random value (per page-view) and an offset (per invocation).
* There is an explicit/direct unit-test.

Comments
--------

* The code was originally written with the intent of returning a string.
  However, there was a slight copy-paste error which caused it to return an
  array (which contained that string).  Functionally, that worked (because
  it was serializable and met the same minimum uniqueness constraint),
  but it's weird to read/inspect, and we should change quickly before
  something else locks-in the odd structure.

* The more unique the nack-value is, the more correct the nack-checking
  pattern is.  Appending a static-counter is a simple, fast way to provide
  stronger uniqueness within a page-view.

* There may be some obscure edge-cases in which the previous pattern was not
  sufficiently unique -- e.g.  combining tiers-of-tiers or
  decorators-of-decorators.  I haven't verified that, but it seems
  unimportant given that the static-counter is so straightforward.

* In `NaiveHasTrait`, the extra `ht` suffix was an attempt to increase the
  uniquness.  However, the static-counter seems better.

CRM_Core_BAO_Cache - Make some IDE's happier about inline assignment

CRM_Core_BAO_Cache - Deprecate getItems(), getItem(), setItem(), deleteGroup()

These interfaces predate PSR-16 -- which is more flexible and complete.
PSR-16 supports TTLs, default-values, multi-key operations, etc.  PSR-16
drivers can be extended/decorated/replaced.  There are third-party
implementations of PSR-16.  And (personally) I find the code which consumes
PSR-16 to be more readable+writeable (e.g. `$cache->get($key)` vs
`CRM_Core_BAO_Cache::getItem($group, $item)`).

However, `CRM_Core_BAO_Cache` has been around forever.  I currently count
ten distinct cache-groups which rely on it (5 from `civicrm-core` and 5 from
`universe`). So we shouldn't remove it outright.

Allow rerouting CRM_Core_BAO_Cache::{set,get}Item(s) to PSR-16 drivers

Before
----------------------------------------

* Requests for `CRM_Core_BAO_Cache` (`setItem($data,$group,$path)`,
  `getItem($group,$path)`, `getItems($group)`, `deleteGroup($group,$path)`)
  are *always* served by two tiers: (1) an in-memory array (`static::$cache`) and (2)
  an SQL table.

After
----------------------------------------

* There is a config option `define('CIVICRM_BAO_CACHE_ADAPTER',
  'CRM_Core_BAO_Cache_Psr16');`.
    * When disabled (default), `CRM_Core_BAO_Cache` continues using the old code.
    * When enabled, `CRM_Core_BAO_Cache` changes behavior. Each `$group` is mapped to
      a PSR-16 object.

* The class/implementation for each `$group` depends on the configuration:
    * In a typical (non-Redis/non-Memcache) deployment, the implementation
      is `CRM_Utils_Cache_SqlGroup`, which has the same 2-tier structure
      (in-memory+SQL).
    * In Redis/Memcache deployment, the implementation combines
      `FastArrayDecorator` with `CRM_Utils_Cache_Redis` or
      `CRM_Utils_Cache_Memcache`.  This gives a similar 2-tier structure
      (e.g. in-memory+Redis).

Fix undefined throwing error in CRM.checkPerm

Fix permission checks on contact create popups

Merge pull request #13496 from totten/master-cache-tier

(dev/core#635) Implement local array-cache for use with Redis/Memcache

CRM_Utils_Cache::create() - Accept new option `withArray`

This adds and documents a new config option which can be passed into the cache factory.

The option, `withArray`, indicates that we prefer to have a thread-local
array acting as an extra cache-tier.

Implement CRM_Utils_Cache_FastArrayDecorator

Implement CRM_Utils_Cache_ArrayDecorator

This allows you to put a static array in front of another cache.  It is the
same basic idea as CRM_Utils_Cache_Tiered, but it's optimized for a typical case
where you only want one front-cache.

Based on some naive benchmarking (performing several trials with a few
thousand duplicate reads over the same cached data), this basically cut the
read-time in half.  The following is pretty representative of the results:

```
Redis-only cache               write=0.1044s   read=1.3266s
2-Tier (ArrayCache+Redis)      write=0.1189s   read=0.3765s
Decorated-Redis cache          write=0.1105s   read=0.1505s
```

See also: https://gist.github.com/totten/6d6524be115c193e0704ff3cf250336d

Note: To ensure that TTL data is respected consistently regardless of how
the tiers behave and the order in which they are used, the TTL/expiration
must be stored extra times.

Implement CRM_Utils_Cache_Tiered

Before
------
* No way to daisy-chain caches to form a cache hierarchy
* ArrayCache::reobjectify() would fail to reobjectify objects in an array, which seems against the spirit of PSR-16

After
-----
* You can create a cache hierarchy with `new CRM_Utils_Cache_Tiered([$fastCache, $mediumCache, $slowCache])`
* ArrayCache::reobjectify() will reobjectify if it detects an object directly in an array

Note: To ensure that TTL data is respected consistently regardless of how
the tiers behave and the order in which they are used, the TTL/expiration
must be stored extra times.

ArrayCache::getExpires() - Add helper for unit testing

Merge pull request #13500 from totten/master-nack

(REF) Add CRM_Utils_Cache::nack(). Use it for NaiveHasTrait.

Merge pull request #13511 from greenpeace-cee/optimize-creditnote

CRM/Contribute - Add query optimization for creditnote_id

Alter the query used to render the yearly totals on the contact contribution tab to make a better index choice.

This PR restructures the  annual query to use HAVING clause for contribution_status_id in order to
avoid the (edge case) situation where it uses a combined index resulting in a slow query. When a contribution is entered
the screen loaded on-close is the contribution tab so when this is slow the data entry process is much slowed.

Mmsql index merge optimisation is a default enabled setting which can choose to use 'merged indexes' rather than
just one. In this query the best index is contact_id because even when a contact has a relatively large number of
contributions they are still trivial compared to the overall DB. By contrast contribution_status_id is not a good
choice as it has fairly low variability and when used in combination with contact_id adds very little as trade off for the time
it takes to construct a merge index

What we are seeing is that the index choice on this query is
index_contribution_status,received_date,FK_civicrm_contribution_contact_id,contact_id_contribution_status | FK_civicrm_contribution_contact_id,index_contribution_status

which results in a query that takes around 6 seconds on a contact with 18k contributions in a DB of around 30 million contributions.

If we restructure the query so that it looks like

```
     SELECT COUNT(*) as count,
             SUM(total_amount) as amount,
             AVG(total_amount) as average,
             currency
      FROM civicrm_contribution  b

      WHERE b.contact_id IN (72) AND b.receive_date >= 20180701 AND b.receive_date <  20190701
      GROUP BY currency, contribution_status_id
      HAVING contribution_status_id = 1;
```

the selected index is  FK_civicrm_contribution_contact_id and the query takes .05 seconds.

This restructure achieves much the same as using an index hint but as there is some index naming inconsistency
'in the wild' changing the query structure like this makes more sense.

 Note that I ALSO tested this
1) on the same database on a contact with a negligible number of contributions
2) on a much smaller database (~400k contributions) on a contact with 122 contributions.

In both cases it made no difference to which key was chosen as the merge index appears to only be chosen by mysql
when more than a certain number of on contributions adhere to a single contact.

In the latter case the query time for both versions was recorded as 0.00 so I couldn't see any difference.

In the former case the query change sped up the query from 0.02 to 0.00 so there is some additional efficiency
in the new query beyond the index choice

Links on index merge optimisation
https://www.percona.com/blog/2012/12/14/the-optimization-that-often-isnt-index-merge-intersection/
http://gobitcan.com/blog/2014-12-03-what-to-do-when-mysql-ignores-your-index
http://mysqlopt.blogspot.com/2013/05/mysql-slow-query-example-of-index-merge.html
https://www.percona.com/blog/2012/12/14/the-optimization-that-often-isnt-index-merge-intersection/
https://stackoverflow.com/questions/16283472/why-is-mysql-showing-index-merge-on-this-query
https://mariadb.com/kb/en/library/fair-choice-between-range-and-index_merge-optimizations/
https://dba.stackexchange.com/questions/178286/mysql-on-rds-avoiding-index-merge
https://mariadb.com/kb/en/library/index_merge-sort_intersection/
https://stackoverflow.com/questions/47943755/mysql-optimizing-subquery-with-index-merge
https://dev.mysql.com/doc/refman/8.0/en/index-merge-optimization.html

CRM/Contribute - Add query optimization for creditnote_id

This adds a minor query optimization to createCreditNoteId() that
should significantly improve performance when contributions are
cancelled or refunded in environments with many contributions.

Fix bug in Annual summary query (on contact dashboard) whereby a left join gives the wrong results

    As demonstrated in the test the left join does not do any filtering but it DOES join in as many line items as match the
    permitted types - resulting in too many rows & the sum calculated on them being incorrect.

    As this doesn't work it should be removed - I would aniticpate that sites with the financialreportacls extensions
    would get this adequately added through CRM_Financial_BAO_FinancialType::addACLClausesToWhereClauses
    but regardless this should go as it causes a bug without achieving it's intended result and adding a test prevents
    a later fix from re-breaking

Merge pull request #13509 from ixiam/dev-duplicateCreateCreditNote

remove duplicated call to createCreditNoteId()

remove duplicate call to createCreditNoteId()

Merge pull request #13319 from eileenmcnaughton/cont_queries

Add selectWhere hook call to the query that generates the 'annual' query - the 'amount this year' on a contact dash

Add ACL hook call and test to financial ACLs

If the hook call changes the where cause we will not implement the
core pseudo-hook-code for financial type acls.

This allows us to not conflict with reportfinancialacls extension
Eventually we will not have any of this in core other than the hook.

Merge pull request #13501 from civicrm/5.10

5.10

Merge pull request #13505 from mattwire/caseview_fatalerror

Display error instead of fatal error when trying to view a case that you don't have permission to access

Fix for dev/core#686: Make "amount statistics" columns optional

Merge pull request #13460 from mattwire/case_getlabel_pseudoconstant

Convert deprecated OptionGroup::getLabel to PseudoConstant::getLabel for cases

Convert deprecated OptionGroup::getLabel to PseudoConstant::getLabel for case

Merge pull request #13485 from colemanw/grantTaskDate

dev/core#561 - Convert grant task form to datepicker

Merge pull request #13497 from jitendrapurohit/core-681

dev/core#681 - Fatal Error on submitting "Change Case Status" activit…

Merge pull request #13491 from colemanw/campaign

Convert Campaign widgets to entityRef

Merge pull request #13493 from colemanw/entityRefFilters

dev/core#677 EntityRef filters fixes

Show error popup and return to dashboard instead of showing fatal error page when trying to access case that you do not have permission for

dev/core#682 Add basic contact filters to Summary Contributions Report

Merge pull request #13503 from colemanw/numberWidget

Survey form - use number widget for number fields

dev/core#561 - Convert grant task form to datepicker

Survey form - use number widget for number fields

Merge pull request #13421 from chamilwijesooriya/issue-650

dev/core#650 Use popups for links

Merge pull request #13490 from colemanw/Fix

Fix broken date fields in survey response form

Fix shortcode button when popup setting is disabled

Don't pass $ids by reference in add function

Merge pull request #12647 from compucorp/fix-case-type-issues

Case type management fixes

Merge pull request #13478 from pradpnayak/eventRegression

dev/core/issues/653, fixed regression on creating new event using event template

NaiveHasTrait - Reduce roundtrips in `has()`

The `NaiveHasTrait` is a generic implementation of PSR-16 `has()` which
builds on the logic of PSR-16 `get()`.  This reduces I/O for `has()`.

Before
------
* Each call to `has()` triggers two calls to `get()`.

After
-----
* Each call to `has()` triggers one call to `get()`.

Comments
--------

The correctness of this stems from the uniqueness of the `$nack` value.  To
wit: if you always use the same constant (e.g.  `NULL` or `0` or `''` or
`'no-value'`) to signify a cache-miss, then it's trivial to produce a
collision/incorrect-result.  (Simply store that constant.) But if the value
is a sufficiently unique nonce, then it becomes impractical to produce a
collision/incorrect-result.

CRM_Utils_Cache::nack() - Add helper for combining get()+has() calls in PSR-16

Merge pull request #13480 from pradpnayak/AdvanceSearch

dev/core/issues/506, Fatal error on advance search when using cases from display results as

dev/core#681 - Fatal Error on submitting "Change Case Status" activity form

dev/core/issues/653, fixed regression on creating new event using event template

Use core function to over-ride values

Merge pull request #13495 from seamuslee001/lab_core_676

dev/core#676 Disable GeoCoding Tests for PR jobs and re-enable Mailin…

dev/core#676 Disable GeoCoding Tests for PR jobs and re-enable Mailing Test jobs for PRs previously disabled now fixed

Merge pull request #13492 from pradpnayak/typoErrors

Removed '>' from comment

Merge pull request #13461 from christianwach/lab-666

Fix trailing ampersands when empty array passed as query param

Hide gender & deceased filters for non-individual entityRef

Fix entityRef contact type filter

Removed '>' from comment

Convert addCampaignToComponent widget to entityRef

Campaign entityRef improvements

Use entityRef for campaigns on Survey & Petition forms