CRM-21677 - report clean up

CRM-21677 - report clean up

Merge pull request #12628 from colemanw/Use

Use static cache for UFMatch lookups to improve performance

Merge pull request #12689 from eileenmcnaughton/money_fn

Add test for new rounded money format functions

Add test for new rounded money format functions

Note that there are also some protected functions added. I have left those to be teste via this wrapper as they are not yet exposed

Merge pull request #12626 from eileenmcnaughton/money_fn

dev/core/#119 Fix mishandling of non decimal currency on additional payment form.

Merge pull request #12686 from lcdservices/dev-core-341

dev/core#341 sybunt custom search date field fix

dev/core#341 sybunt custom search date field fix

Merge pull request #12652 from davejenx/core-322

dev/core/issues/322 - fix JS error on contribution page, completing form…

Merge pull request #12642 from eileenmcnaughton/recur

Code cleanup on Membership form when freezing fields in a recurring exists situation

Merge pull request #12685 from MegaphoneJon/fix-pledge-report-group-filter

Replicate fix on PR #12643 for pledge report

Replicate fix on PR #12643 for pledge report

Merge pull request #12664 from totten/master-prevnext-ifclean

(dev/core#217) PrevNext - Remove references to entity_table and entity_id2 from service. Add test.

Merge pull request #12683 from civicrm/5.5

5.5

Merge pull request #12671 from eileenmcnaughton/ex55

Fix + Add test for exporting location types with changed names

(dev/core#217) Improve test coverage of PrevNext::deleteItem

(dev/core#217) Add E2E_Core_PrevNextTest

(dev/core#217) PrevNext - Remove references to entity_table and entity_id2 from service

The PrevNext service/interface aims to be a replaceable component for use
the search-caching (but not deduping).

The interface that we produced from refactoring includes several references
to `entity_table` and `entity_id2` -- these values are part of the SQL
table, and they're needed for dedupe, but they don't seem to convey anything
meaningful for search-caching.  Including these fields makes the interface
more complicated -- which will make it hard to implement other variants.

The general gist of this commit is that we no longer fill those two columns,
and we no longer read them.

In a couple functions, we split the new OOP implementation
(`CRM_Core_PrevNextCache_Sql`) from the traditional static BAO
implementation (`CRM_Core_BAO_PrevNext`) so that we can omit these fields.

(dev/core#217) PrevNext - Make `entity_id2` optional (in SQL)

Merge pull request #12680 from mattwire/comments

NFC Add/update two comments

Merge pull request #12424 from alifrumin/editOwnEvents

 Ensure users with the perm "CiviEvent: access CiviEvent " can edit events they have created.

NFC comments

Merge pull request #12663 from totten/master-prevnext-consistent

(dev/core#217) PrevNext - Use more consistent cache-keys while adjusting filters

Merge pull request #12677 from civicrm/5.5

5.5 to master

Merge pull request #12674 from totten/5.5-upgr-tpl-msg

Upgrader - When updating message templates, identify them by name

Merge pull request #12670 from totten/5.5-perm-msg

Refine upgrade message for `save Report Criteria`

Fix + Add test for exporting location types with changed names

Merge pull request #12676 from civicrm/5.5

5.5 to master

Merge pull request #12673 from eileenmcnaughton/atest

Test fix for intermittant error

Upgrader - When updating message templates, identify them by name

Also: Fix a layout issue caused by a typo in the `<li>` tag.

Loosedn activityTest on country order.

The order is no considered significant, be open minded

(NFC) Upgrade - Improve example of an upgrade message for a new permission

@bgm pointed out that the permission name should be translated as well.
This left me wondering...  why do we bother with parameterizing the string
with a `%1` if it's all going to be translated anyway?

There is a plausible reason.  It's not super-critical, but it's plausible --
the permission name is used in more contexts (like the permission mgmt
screen in D7/WP *as well as* the upgrade screen).  This arrangement ensures
that the name appears the same in *all those contexts*, even in various
edge-cases of the translation lifecycle (e.g.  where the permission-names
have been translated but the upgrade-messages have not).  Again...  it's not
a big deal, but it is a slightly better default.

Upgrade messages - When going through 5.4.*, the permission name should be legible

Upgrade messages - When going through 5.4.*, only display permission message once

Merge pull request #12666 from jmcclelland/issue328

don't add query to developer tab if we are downloading the data

don't add query to dev tab for each row

Adding the query to the dev tab for each row consumes a lot of resources
for the informational gain we get.

don't output to dev tab if dev tab won't be displayed

https://lab.civicrm.org/dev/core/issues/328

(dev/core#217) PrevNext - Use more consistent cache-keys while adjusting filters

Suppose you run a search ("Find Contact", "Advanced Search", "Custom Search", etc). The result screen includes
several elements (which we'll reference below):

1. Standard pagination (Previous/Next; First/Last; Jump-To)
2. Numerical option for page-size
3. Sortable columns
4. An alphabetical filter
5. Checkboxes

As you work with these options, the content of the `civicrm_prevnext_cache` table may change. This patch does
not substantively change what's in that cache, but makes the column `cacheKey` simpler and more consistent.

Both Before and After (Unchanged)
---------------------------------
* The form's qfKey identifies the current screen/filters/cache.
* If you navigate to the next/previous page (`#1`) or adjust the page-size (`#2`), the content in `civicrm_prevnext_cache` remains the same (for the given qfKey).
* If you change the sort column (`#3`) or alphabetic filter (`#4`), the content in `civicrm_prevnext_cache` is deleted and repopulated (for the given qfKey).
* If you toggle a checkbox, the `civicrm_prevnext_cache.is_selected` property updates accordingly. These selections are retained when changing pages (`#1`/`#2`),
  but they're reset if you use sort or alphabet options (`#3`/`#4`).

Before
------
* The content of `civicrm_prevnext_cache.cacheKey` takes one of two forms, depending on whether you're using an alphabetic filter (`#4`).
    * `civicrm search {qfKey}` (typical, without any alphabetic filter)
    * `civicrm search {qfKey}_alphabet` (less common, with an alphabetic filter)
* The queries which read or delete the query-cache use a prefix+wildcard, i.e. `WHERE cacheKey LIKE 'civicrm search {qfKey}%'`.

After
-----
* The content of `civicrm_prevnext_cache.cacheKey` takes only one form
    * `civicrm search {qfKey}`
* The queries which read or delete the query-cache use an exact match, i.e. `WHERE cacheKey = 'civicrm search {qfKey}'`.`
* The text `_alphabet` does not appear in the PHP source folders (CRM, Civi, bin, api, extern, tests).

Comments
--------
In theory, one can imagine that it's desireable to keep the cached results for each of the sorted/filtered variants of the query.
That might allow the user to quickly switch among different sortings and different alphabetic-filters, or it might
allow some kind of clever management of the selections. But this is not so. As we see (both before and after), the substance
of the cache is deleted whenever the user changes `#3`/`#4`. In reality, one user browsing a search screen corresponds to exactly
one query-cache. As near as I can tell, the old code made the names change for no real reason at all.

To observe the behavior empirically, I would twiddle the UI widgets and concurrently inspect the content of the cache tables.  For example:

```
mysql> select group_name, path, FROM_BASE64(data), expired_date  from civicrm_cache where path like 'civicrm search%';
select 'Total records in' as label, cacheKey, count(*), min(id), max(id) from civicrm_prevnext_cache group by cacheKey
union select 'Selected records in ', cacheKey, count(*), min(id), max(id) from civicrm_prevnext_cache where is_selected=1 group by cacheKey;
+------------------------------+------------------------------------------------------+--------------------------------------------------------------+--------------+
| group_name                   | path                                                 | FROM_BASE64(data)                                            | expired_date |
+------------------------------+------------------------------------------------------+--------------------------------------------------------------+--------------+
| CiviCRM Search PrevNextCache | civicrm search a8ed1e2039241c41457a88f65aa8a8ee_7845 | s:52:"civicrm search a8ed1e2039241c41457a88f65aa8a8ee_7845"; | NULL         |
+------------------------------+------------------------------------------------------+--------------------------------------------------------------+--------------+
1 row in set (0.00 sec)

+----------------------+------------------------------------------------------+----------+---------+---------+
| label                | cacheKey                                             | count(*) | min(id) | max(id) |
+----------------------+------------------------------------------------------+----------+---------+---------+
| Total records in     | civicrm search a8ed1e2039241c41457a88f65aa8a8ee_7845 |        6 |     787 |     792 |
| Selected records in  | civicrm search a8ed1e2039241c41457a88f65aa8a8ee_7845 |        1 |     789 |     789 |
+----------------------+------------------------------------------------------+----------+---------+---------+
2 rows in set (0.01 sec)
```

Merge pull request #12661 from pradpnayak/report-error-gender

Fixed fatal error when Gender is selected in column

Merge pull request #12656 from eileenmcnaughton/dev_tab

Add SQL modes to developer tab

Fixed fatal error when Gender is selected in column

Merge pull request #12579 from eileenmcnaughton/export_another

Export minor refactor Move household relationship types to the processor

Merge pull request #12658 from eileenmcnaughton/report_function

[NFC] Minor function extraction in report class.

Minor function extraction in report class.

This mirrors a similar refactor in the extended reports class (which also
allows it to be called from more than one place

Remove nbsp handling (now it no longer works)

Merge pull request #12657 from civicrm/5.5

5.5

Merge pull request #12634 from seamuslee001/dev_core_273

dev/core/#273 Fix issue where sending an SMS with the To Field in the…

Add SQL modes to developer tab

dev/core/#273 Fix issue where sending an SMS with the To Field in the provider params set did not work and fix handling of do_not_sms

Add test of error message

dev/core/issues/322 - fix JS error on contribution page, completing form on behalf of someone else, when profile includes checkbox field.

Merge pull request #11923 from lcdservices/GL-44

GL-44 admin price field options on event info page

Merge pull request #12643 from jmcclelland/issue320

filter current employer report by all groups

Merge pull request #12632 from mattwire/joomla_civimenu

Drop custom CSS for Joomla CiviCRM menu so it works with shoreditch theme

Merge pull request #12463 from JMAConsulting/dev-core-237

dev/core#237 : Hide Drupal8 Administer Menu bar on CiviCRM pages and move navigation js hacks to respective CMS js

Merge pull request #12645 from KarinG/FinancialAuditCompleteMembershipTest

[phpunit test only] - Add one additional data integrity check to ensure that after Edit Fin…

Merge pull request #12648 from civicrm/5.5

5.5 to master

Merge pull request #12646 from eileenmcnaughton/option_group_cache

Fix option group caching issue.

Fix option group caching issue.

Per https://lab.civicrm.org/dev/core/issues/304 in some cases the api
cache has already been built so adding a new option_group
is not picked up causing a crash

Add one additional data integrity check to ensure that after Edit Financial Items add up to total_amount at Contribution level.

Merge pull request #12576 from colemanw/userPerm

Fix CRM_ACL_API::whereClause to respect $contactId param

Merge pull request #12644 from civicrm/5.5

5.5 to master

Merge pull request #12640 from xurizaemon/GL316-cache_key_no_whitespace

(dev/core#316) Fix crash on Memcache systems when session key involves whitespace

dev/core#316 - Update long string cache key test results

This is replaces 95b65673b6259be3a02ed6510e7562939d35b6c8.  The intent is to
have a delimiter every ten chars so that it's easy to read/confirm the
length of the string.

The delimiter was space, but this became a longer encoded char (`-20`)
and threw off the numbers. Switching to dash just gives a different encoded char.
To get the counts right, it needs ot be a pass-through char... like underscore.

Merge pull request #12631 from JMAConsulting/dev-access-10-1

dev/accessibility#10 : Moved datepicker widget to a separate file

filter current employer report by all groups

Code only filtered by static groups before.

https://lab.civicrm.org/dev/core/issues/320

(NFC) CRM_Utils_Cache::create - Update docblock for 'name' param

Move datepicker widget to a separate file

additional fixes

dev/core#237 : Hide Drupal8 Administer Menu bar on CiviCRM pages

Issue #316: Update long string cache key test results

Issue #316: Ensure Container caches have safe prefixes

Issue #316: Expand cache key test coverage with emoji

Issue #316: Update tests for whitespace escaping

Avoid calling Cache::cleanKey() twice in quick succession

Since this method is performance related and called frequently,
no need to recalculate results from preg_replace_callback() with
the same inputs.

Issue #316: Exclude spaces from cache keys for Memcache compatibility

- https://lab.civicrm.org/dev/core/issues/316
- https://github.com/memcached/memcached/blob/master/doc/protocol.txt

[NFC] freeze elements when added rather than collecting them in an array for later

[NFC] minor extraction

[NFC] simplify IF clause

Merge pull request #12603 from jitendrapurohit/core-295

dev/core#295 - Allow default 'from' email to be  set in New email form

Merge pull request #12594 from eileenmcnaughton/sales_tax_trait

Minor refactor, use sales tax trait to simplify sales tax functions

Merge pull request #12633 from seamuslee001/symfony_upgrade

Upgrade symfony in lockfile to be 2.8 which is supported version of 2…

Merge pull request #12619 from mattwire/caseview_contactlink

Make contact name into a link on Manage Case for single client

Update Unit test to ensure it locks in 2.8 and include polyfil

Upgrade symfony in lockfile to be 2.8 which is supported version of 2.x series

Drop custom CSS for Joomla CiviCRM menu so it works with shoreditch theme

Make contact name into a link on Manage Case for single client

Merge pull request #12630 from eileenmcnaughton/comment_bool

[NFC] comment fixes relating to doc blocks, spelling

Merge pull request #12629 from KarinG/FinancialAuditAddTests

Follow up on #12611 - adding in three data-integrity assertions.

[NFC] comment fixes relating to doc blocks, spelling

Merge pull request #12627 from eileenmcnaughton/caching_pp

Use cached version of payment processor.

Merge pull request #12559 from eileenmcnaughton/activity_part_2

Activity display, switch to more performance getActivities function (from deprecatedGetActivities)

Follow up on #12611 - adding in three data-integrity assertions.

Merge pull request #12444 from mattwire/fixduplicatecaseactivities

dev/core#245 Fix duplicate activities showing on case activities tab when they have multiple target/assignee contacts

Use static cache for UFMatch lookups to improve performance

Merge pull request #12625 from colemanw/recVer

Bump recommended php version to 7.1 and min recommended to 7.0

changing static permissions to use Civi::

Use cached version of payment processor.

I am hitting a slightly obscure bug in Redis that is solved by this change.

Per https://github.com/eileenmcnaughton/nz.co.fuzion.omnipaymultiprocessor/issues/55
we have an issue whereby Omnipay adds the gateway to a variable on class when processing payments.

In some cases this gateway will not serialize into a key under Redis causing a fatal.

However, we don't really need it to - the payment processor that we are aiming to cache is
'as loaded' not 'as used'. The caching of the processors appears to have been removed in
the past because of issues around domains -however, I think we can get
past that by changing the cache key.

dev/core#295 - Allow default 'from' email to be  set in New email form

Merge pull request #12620 from mattwire/fileoncase_activityparams

Don't duplicate activity when filing on case

Fix mishandling of non decimal currency on additional payment form.