Merge pull request #13179 from eileenmcnaughton/dedupe_rule

Test support for fixing dev/core#397 including adding Rule api

Merge pull request #13184 from civicrm/5.8

5.8

Merge pull request #13177 from eileenmcnaughton/net_amount

Fix failure to calculate net_amount correctly on update when fee_amount is not in the parameters.

Merge pull request #13182 from civicrm/5.8

5.8

Merge pull request #13178 from eileenmcnaughton/net_amount_form

dev/core#552 Fix missaving of net_amount

Add Dedupe Rule api

Merge pull request #13180 from GinkgoFJG/dev/core#559

(dev/core#559) Declare crmUi's dependency on ui.utils.

(dev/core#559) Declare crmUi's dependency on ui.utils.

Add unit test improvements to support testing dev/core#397

I have marked the test incomplete as we get a fatal error on the actual test for #397
(with or without the proposed fix) but I think if we merge this it makes it easy to complete
#397

Add Rule api for dedupe rule & fix tests to use it.

Tests seem to be languishing on the painfulness of creating Reules without an api so adding one.

Note that there is good automatic test coverage under SyntaxConformance for this.

I also removed a pointless piece of code

Merge pull request #13175 from aydun/displayvalue_fixes

Displayvalue fixes

Fix missaving of net_amount

dev/core#552 it seems net_amount was removed incompletely
from the additional info form - causing it to block updating of the value when it should have been updated

Fix failure to calculate net_amount correctly on update when fee_amount is not in the parameters.

Test for CRM_Core_BAO_CustomField::displayValue() contact ref

Fix bug if string value is passed to CRM_Core_BAO_CustomField::displayValue() for a contact ref

Merge pull request #13059 from seamuslee001/lab_core_505

dev/core#505 Allow Extensions to specify crmType and phpType when dea…

Merge pull request #13147 from eileenmcnaughton/dash_fix

Fixes to enable UserDashboard tests to all run

Merge pull request #13168 from totten/master-prevnext-metadata

(dev/core#217) Search.setting.php - Fix mismatched metadata

(dev/core#217) Search.setting.php - Fix mismatched metadata

The setting `prevNextBackend` was introduced in PR #12665.  The PR was
originally written for an earlier version (circa 5.6) and eventually
merged in a later version (circa 5.9). The metadata should match
the version-number of the actual release.

Merge pull request #13157 from eileenmcnaughton/currency

Set currency template variable from contribution pages

Merge pull request #13161 from colemanw/Api3

Api3 profile:submit - fix handling of greeting fields

Fixes to enable UserDashboard tests to all run

Merge pull request #13162 from francescbassas/patch-16

Avoid permission checking on getOrganizationNames

Api3 profile:submit - fix handling of greeting fields

Merge pull request #13166 from eileenmcnaughton/misc

Trivial code cleanup

Merge pull request #13167 from eileenmcnaughton/checksum

[NFC] Extract getUserCheckSum function

[NFC] Extract getUserCheckSum function

Minor code cleanups.

Removes an instance where  is instantiated using the old & pattern and
fixes a non-quoted word in a template which causes notices under some configs

(dev/core#217) PrevNext - More conservative transition (5.7=>5.8=>5.9)

This revision sets up more conservative transition process for adopting PrevNext drivers.

Before
------

* 5.7.x - Hard-coded to SQL driver.
* 5.8.x - Allow setting to pick driver. If left as `default`, then choose best-available (based on configured services).

After
------

* 5.7.x - Hard-coded to SQL driver.
* 5.8.x - Allow setting to pick driver. If left as `default`, then use SQL driver.
* 5.9.x - Allow setting to pick driver. If left as `default`, then choose best-available (based on configured services).

This essentially mitigates the risk that bugs in the new Redis driver cause regreessions for sites already running Redis.

Merge pull request #12665 from totten/master-prevnext-redis

(dev/core#217) PrevNext - Implement Redis. Decouple Query::getCachedContacts().

(dev/core#217) PrevNext - Add settings for admin to choose backend

The auto-detection is a good default policy.  However, this is new
functionality.  If some bug gets through the review/RC cycles, then this
option provides an escape path.

(dev/core#217) PrevNext - Cleanup parameter name in Sql::markSelection

The new name is prettier and matches the names in `CRM_Core_PrevNextCache_{Interface,Redis}`.

(dev/core#217) Implement Redis driver for PrevNext handling

(dev/core#217) Query::getCachedContacts - Use swappable fetch() instead of SQL JOIN

The general context of this code is roughly as follows:

* We've already filled up the prevnext cache with a bunch of contact-IDs.
* The user wants to view a page of 50 contacts.
* We want to lookup full information about 50 specific contacts for this page.

It does makes sense to use `CRM_Contact_BAO_Query` for looking up the "full information"
about contacts. However, the function `Query::getCachedContacts()` is hard-coded to
read from the SQL-based prevnext cache.

Before
------

* In `getCachedContacts()`, it grabbed the full SQL for `CRM_Contact_BAO_Query`
  and munged the query to:
    * Add an extra JOIN on `civicrm_prevnext_cache` (with a constraint on `cacheKey`)
    * Respect pagination (LIMIT/OFFSET)
    * Order results based on their position in the prevnext cache

After
-----

* In `CRM_Core_PrevNextCache_Interface`, the `fetch()` function provides one page-worth
  of contact IDs (in order). The `fetch()` function is tested by `E2E_Core_PrevNextTest`.
* In `getCachedContacts()`, it doesn't know anything about `civicrm_prevnext_cache`
  or `cacheKey` or pagination.  Instead, it just accepts CIDs for one page-worth of
  contacts.  It returns contacts in the same order that was given.

Avoid permission checking on getOrganizationNames

[Bookkeeping Transactions Report insufficient permissions](https://lab.civicrm.org/dev/core/issues/551)

Set currency template variable from contribution pages

When we load the PaymentForm the currency is set there and assigned to the template.

However, if the form doesn't load by default (ie because there is no payment processor selected by
default) the currency variable is not assigned to the template.

When the payment form is loaded by
      var dataUrl = '{crmURL p='civicrm/payment/form' h=0 q=formName=

Merge pull request #13156 from eileenmcnaughton/please_print

dev/core#371 remove please print this page text

dev/core#371 remove please print this page text

Merge pull request #13154 from civicrm/5.8

5.8 to master

Merge pull request #13153 from colemanw/removejstree

Remove redundant jstree script from search form

Remove redundant jstree script from search form

Merge pull request #13152 from civicrm/5.8

5.8 to master

Merge pull request #13150 from eileenmcnaughton/acl

Fix check for financial acls to look for setting rather than sub-key of non-standard civicontribute_settings' setting

Merge pull request #13133 from eileenmcnaughton/php72import

dev/core#406 fix warnings under php 7.2 when importing

Merge pull request #13149 from eileenmcnaughton/no_double_contribution

dev/core#536 Remove duplicate call to contribution summary

Merge pull request #13143 from eileenmcnaughton/importtest

Fix test name because it is not running & doesn't pass :-(

Fix test name because it is not running & doesn't pass :-(

Fix check for financial acls to look for setting rather than sub-key of non-standard civicontribute_settings' setting

Merge pull request #13066 from ejegg/php73

Fix continue / break PHP 7.3 warnings

Merge pull request #13146 from eileenmcnaughton/cont_test

Unit test set up tweak - Set trxn_id & invoice_id in tests as needed rather than by default.

Remove duplicate call to contribution summary

This is an expensive call (we get it at over 10 seconds for high
giving contacts in a large database) and it is quite simply called twice.

Removing these few lines knock out several expensive queries but I have checked
contribution tab, user dashboard, contribution search and advanced search displayed
as contributions and can find no instances where less info is shown.

(in the case of advanced search displayed as contributions it doesn't show before or
after)

Merge pull request #13140 from jitendrapurohit/core-540

dev/core#540 - Civicrm Contact Dashboard returns fatal error

Set trxn_id & invoice_id in tests as needed rather than by default.

This causes work-arounds & flakiness by tests using this fn.
Better to add as required.

Merge pull request #13126 from eileenmcnaughton/export_more

Export code cleanup - only construct one metadata array with all types of metadata

Merge pull request #13145 from civicrm/5.8

5.8 to master

Merge pull request #13137 from eileenmcnaughton/user58

dev/core#534 fix failure of print invoice to display on settings page

Fix missing Pay now link

Disable function that doesn't work on jenkins (but does locally) for not

Remove static var from env function.

It is causing a test fail and is only saving us from calling a cached function....

Test fixes, better cleanup

dev/core#540 - Civicrm Contact Dashboard returns fatal error

Use function to determinie if invoicing is enabled which accounts for historical weirdness

Use onToggle feature for setting user_dashboard_options when toggling invoicing, remove from form

Add test for user dashboard

Merge pull request #13135 from civicrm/5.8

5.8

Merge pull request #13131 from eileenmcnaughton/5.8

dev/core#534 Fix intra-rc regression mis-saving of invoicing setting

Merge pull request #13132 from eileenmcnaughton/php72

Fix php 7.2 notice

dev/core#406 fix warnings under php 7.2 when importing

Fix php 7.2 notice

Fix saving of invoicing.

Invoicing has setting metadata but this setting is ignored in various places in core in favour of using a hacky method. Don't break when
hackiness ensues

Move construction of headers to ExportProcessor

Stop setting header rows only to unset them

Move definition of header rows to ExportProcessor

Make getHeaderRows more sensible

Merge pull request #13124 from eileenmcnaughton/export_fgb

Fix Export when full group by mode is used

Merge pull request #13087 from eileenmcnaughton/lybunt

Lybunt report - improve developer support for debugging this report

Merge pull request #13130 from civicrm/5.8

5.8 to master

Merge pull request #13128 from colemanw/jstree

dev/core#507 - Fix wrong version of jstree in search popop

dev/core#507 - Fix wrong version of jstree in search popop

Extract switch, fix PHP 7.3 warnings

PHP 7.3 warns if a continue statement is used inside a switch, where
it functions as a break statement. This patch extracts the switch
from the loop, and also fixes the fall-through error from
civicrm_campaign to default, moving the civicrm_website case out of
the way.

PHP 7.3 continue / break clarification

PHP 7.3 started warning on 'continue' statements inside switches,
where they act just like 'break' statements. To actually continue
the enclosing loop, it would have to be 'continue 2'. Since that's
a weird syntax and these two cases have nothing after the switch,
I've replaced them here with break.

Fix a further fatal error when full group by is enabled

Merge pull request #13122 from eileenmcnaughton/export_merge

Export code cleanup - remove silly function

Merge pull request #13121 from pradpnayak/BatchSearchFix

dev/core#532 Batch search fix

Fix Export when full group by mode is used

After upgrading locally to mysql 5.7 I found that the exportIM test
was taking so long locally that I was killing it rather than finding
out how long it would take.

Digging into it I found that we were changing the query so that
attempts to group by contact ID were being nullified when full group by
is enabled. This meant that we were winding up with
7776 rows being retrieved to reflect a grid of permutations, which was
being iterated down to 1 in php.

In general the practice of altering the groupby to meet this new
standard is one that we determined to be
causing problems and we discontinued / rolled back

Remove silly manipulateHeaderRows function

Export code cleanup -  Extend testing so we can get rid of silly manipulate fn

Remove header handling that I think is unreachable

Merge pull request #13117 from eileenmcnaughton/export2

Export code clean up - extract build row & getTransformed row off to ExportProcessor

Merge pull request #13120 from eileenmcnaughton/less_primary

Export class cleanup - remove some unnecessary code

Merge pull request #13098 from eileenmcnaughton/monish_pay

dev/core#153: Pending Pay Later /w Custom payment method

Modified unit test

format form values for multi-select fields

Query building shouldn't be iterated

Merge pull request #13115 from eileenmcnaughton/noah

Minor Contact BAO code cleanup

Remove provider_id & duplicate key additions from export 'primary' (AKA all) fields

In testing all these fields except for provider_id are already in the primary field.

Provider ID is a psynonym for im_provider. Possibly it is the better name choice
but it has a lot of hacks associated with it that can go by removing it

Merge pull request #13119 from civicrm/JoeMurray-patch-4

Update name of icon from pencil to wrench in EventInfo help

Merge pull request #13118 from civicrm/JoeMurray-patch-3

Fix Configure Event help grammar

Merge pull request #12650 from JMAConsulting/dev-core-321

dev/core#321: Prevent duplicate entries in civicrm_entity_file

Minor Contact BAO code cleanup

Merge pull request #13113 from mattwire/fix_delete_participant

Regression: Fix delete event participant fatal error and display name if no email