Merge pull request #15243 from eileenmcnaughton/export_wip

Declare metadata for component payment fields on export

Declare metadata for component payment fields on export

Towards metadata for all fields

Merge pull request #15241 from civicrm/5.18

5.18 to master

Merge pull request #15239 from demeritcowboy/fix-pptx-upgrade-task

dev/core#1190 - typo in original version of upgrade function

Merge pull request #15178 from eileenmcnaughton/wp

Fix php 7.2+ deprecation error

Fix php 7.2+ deprecation error

Merge pull request #15240 from demeritcowboy/avoid-variable-name-conflict

dev/core#1123 - avoid possible variable name clash

avoid variable name clash

typo in original version of function

Merge pull request #15231 from pradpnayak/entityrefHook

Updated entityRefFilters hook to support alter form create links

Merge pull request #15237 from civicrm/5.18

5.18

Merge pull request #15238 from eileenmcnaughton/5.18

(dev/core#1065) fix condition so that the contact field appears for s…

(dev/core#1065) fix condition so that the contact field appears for standalone/tab context for create mode

fix for create grant from tab

Merge pull request #15236 from eileenmcnaughton/map

dev/core#1236 fix miscasting on setContactSubType

Merge pull request #15234 from totten/5.18-testsqlop

SyntaxConformanceTest::testSqlOperators - Skip "Dedupe" entity on MySQL 5.5

Merge pull request #15233 from seamuslee001/lab_core_1233

dev/core#1233 Fix deleting of campaigns and saving of custom data for campaign and …

dev/core#1236 fix miscasting on setContactSubType

I think it makes sense to cast here rather than require a string

Added Unit test

Merge pull request #15142 from eileenmcnaughton/pradeep2

Prevent error on price set membership update

Merge pull request #15210 from eileenmcnaughton/mailing_prep

Add unique name to mailing_job.start_date

SyntaxConformanceTest::testSqlOperators - Skip "Dedupe" entity on MySQL 5.5

Overview
--------

This disables a particularly flaky test-scenario.

Technical Details
-----------------

The `SyntaxConformanceTest::testSqlOperators()` has been rather flaky for a
while.  (I think this goes back either to the creation of the test or the
expansion of Dedupe API -- in other words, the test of this scenario has
always been flaky.)

When the test fails, it looks like this:

```
api_v3_SyntaxConformanceTest::testSqlOperators with data set #28 ('Dedupe')
incorrect count returned from Dedupe getcount
Failed asserting that 0 matches expected 2.

/home/jenkins/bknix-min/build/build-1/web/sites/all/modules/civicrm/Civi/Test/Api3TestTrait.php:191
/home/jenkins/bknix-min/build/build-1/web/sites/all/modules/civicrm/tests/phpunit/api/v3/SyntaxConformanceTest.php:1131
/home/jenkins/bknix-min/build/build-1/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:215
/home/jenkins/bknix-min/civicrm-buildkit/extern/phpunit6/phpunit6.phar:570
```

I've spent a chunk of time investigating the flakiness and found:

1. The test usually (possibly always?) passes on MySQL 5.7.
2. The test often (but not always) fails on MySQL 5.5.
3. The version of PHP (php70 vs php72) does not make much difference.
4. The test never seems to fail when run by itself. The smallest
   scenario which seemd to reliably produce the failure was:
   ```
    env
      SYNTAX_CONFORMANCE_ENTITIES='ContactType Country Dedupe Domain StateProvince' \
      CIVICRM_UF=UnitTests \
      phpunit5 \
      --stop-on-failure --tap \
      tests/phpunit/api/v3/SyntaxConformanceTest.php \
      --filter '(testCustomDataGet|testLimit|testSqlOperators)'
    ```
5. The reproducibility differed on two laptops.  The laptops were largely
   identical wrt PHP/MySQL binaries+configuration (macOS,
   bknix@master-loco, `min` cfg). They differed in OS version
   and hardware specs. The slower machine (low-wattage 2-core CPU; 8gb; Mojave)
   produced test-failures much more reliably than the faster machine
   (high-wattage 4-core CPU; 16gb; Sierra).

Rationalizations for why it's OK to sip:

* The test will continue to be monitored on MySQL 5.7+.
* The test *does* pass reliably when run by itself on MySQL 5.5.
* [Civi doesn't officially support MySQL 5.5](https://docs.civicrm.org/sysadmin/en/latest/requirements/#mysql-version),
so we're not required to faff-about over a failure that only occurs on MySQL 5.5.

See also: https://chat.civicrm.org/civicrm/pl/s7nbkro8yjfgzk5z4epo8g9jph

Fix deleting of campaigns and saving of custom data for campaign and also ensure that goal_general is not html encoded as it is a wysiwyg field

Updated entityRefFilters hook to support alter form create links

Merge pull request #15230 from yashodha/report_cleanup

CRM-21677 - report clean up

CRM-21677 - report clean up

Set version to 5.19.alpha1

Set version to 5.18.beta1

Merge pull request #15227 from eileenmcnaughton/dedupe

dev/core#1230 Permission nuancing, fix another place where merge duplicate contacts should be enough

Merge pull request #15226 from eileenmcnaughton/headers3

[Ref] [Import] Final round in the cleanup Load Mapping form epic

Merge pull request #15143 from eileenmcnaughton/p4

Stop adding a refund payment from creating extraneous financial items

Merge pull request #15171 from colemanw/daoCache

dev/core#1222 Clear static DAO cache when writing to DAO

dev/core#1230 Permission nuancing, fix another place where merge duplicate contacts should be enough

It seems fine for Rule.create & delete to require administer CiviCRM but merge duplicate contacts should be enough for get

Use shared function to add mapping form now dependencies are gone

Decommission loadSavedMapping now it is all cleaned up

The final result is that the 134 lines here https://github.com/civicrm/civicrm-core/blob/5.16/CRM/Contact/Import/Form/MapField.php#L407-L543

are now just 2 lines & we don't need a separte function

Although this does now free us to replace the 30 lines above with a call to the shared function

Move calculation for do_not_import js to processor

Move calc for do-not-import default to processor

Merge pull request #15224 from eileenmcnaughton/headers

Use metadata for dataPatterns

Clear static DAO cache when writing to DAO

Merge pull request #15154 from eileenmcnaughton/dedupe3

dev/core#1230 [Dedupe] Do not geocode while merging, rely on existing values

Use metadata for dataPatterns

This is a bit harder to add a test for than columnHeaders but the principle of the change is very much the
same so I'm thinking it can get  a free ride on that test

Merge pull request #15137 from andrewpthompson/joomla4-header-css

(dev/joomla#24) Stop CiviCRM's joomla.css from modifying Joomla 4 header background colour

Merge pull request #15220 from eileenmcnaughton/headers

[Import] [REF] code cleanup & test on the code to  'guess the intended  field  from the column name'

Merge pull request #15147 from demeritcowboy/activityTName2

dev/core#1123 - Changing the label for Inbound Email bypasses edit permission

Cleanup get handling to 'guess the column.

This gets us away from using the form session to pass around metadata & makes it testable.

Add test for getting columns from header

Merge pull request #15117 from eileenmcnaughton/member_renew

[REF] extract send receipt in MembershipRenewal fn

Merge pull request #15219 from eileenmcnaughton/import_next

[Ref] [Import] more code cleanup

Merge pull request #15187 from eileenmcnaughton/dedupe11

dev/core#1230 Loosen permissions to Dedupe.getstatistics api

Merge pull request #15188 from eileenmcnaughton/dedupe12

dev/core#1230 Dedupe permissions - allow safe mode merging based on 'merge duplicate contacts'

Merge pull request #15222 from 19ATF77/Constituent_Summary_Fix

Fixes inconsitency between constituency summary and constituency detail

Merge pull request #15115 from eileenmcnaughton/import_metadata

Fix fatal when saving import mapping with a relationship but 'Primary' location type

Fixes inconsitency between constituency summary and constituency detail

Merge pull request #15190 from eileenmcnaughton/import_bug

dev/core#1187 Fix bug where import will not do 2 phone types of the same location

Merge pull request #15159 from andrewpthompson/master

(dev/joomla#10) Remove Joomla-specific error display and use native CiviCRM

Merge pull request #15102 from mlutfy/fixPriceSetLabelHtml

Fix an HTML error in Calculate.tpl

Merge pull request #15217 from seamuslee001/group_nesting_group_org_test

[TEST] Enable apiv4 testing for GroupNesting and GroupOrganization entities

remove if that no longer makes sense

Remove jsSet & just construct the if better.

jsSet is always TRUE when if ([] != ts('- do not import -')) {

so we don't need it

Merge pull request #15118 from eileenmcnaughton/export

Fix export header for 'Contact ID'

Merge pull request #15218 from eileenmcnaughton/import_again

[REF] Move calculation of js for import fields WITH relationship keys to processor.

Move calculation of js for import fields WITH relationship keys to processor.

As should be obvious we can collapse a lot more out with the next commit now....

Merge pull request #15216 from demeritcowboy/attachment-url-2

dev/core#938 - remove duplicate lines

Merge pull request #15181 from seamuslee001/mailing_search_date_picker_conversion

[Datepicker][REF] Convert mailing date field on mailing search screen…

fix typo in second test and update to match first url workaround

Merge pull request #15053 from eileenmcnaughton/paypal

dev/membership#13 Add handling for missing MembershipPayment record.

Enable apiv4 testing for GroupNesting and GroupOrganization entities

Merge pull request #15215 from eileenmcnaughton/import_next

[Ref] Import use process for relationship defaults, add test

dev/membership#13 Add handling for missing MembershipPayment record.

We have an intermittent regression on extending memberships off paypal payments. This adds debug messages
and handling / tests for the scenario I suspect may be in play.

The 'decision' the code makes about how to create recurring transactions is all dependent on the 'template transaction'
- if that is not correct the follow on payments will not be.

This PR allows the membershipID input from paypal to be passed through and used.  This will override any
intended changes - but that just restores previous behaviour and we do not have good handling for these

https://lab.civicrm.org/dev/membership/issues/13

[Datepicker][REF] Convert mailing date field on mailing search screen to date picker

Remove a bunch of now-unused variables, will improve performance too as one involved a query

Ensure subtype is set on processor

Move default fetching to Processor class

Improve tests on loading relationship data

Merge pull request #14621 from pradpnayak/CleanUps

Use api to create activity and removed hardcoded status id

Merge pull request #15212 from mmyriam/mmyriam-case-tag-search-patch-1

Fix search for case tags that are part of tag sets

Merge pull request #15214 from civicrm/5.17

5.17

Merge pull request #15213 from agh1/5.17.0-releasenotes-final

5.17.0 release notes: late changes and tidy-up

Merge pull request #15189 from eileenmcnaughton/import_tiny

[Import][ref] Minor code improvement -  move setDefaults to processor

Merge pull request #15211 from caltha-eu/patch.ts-deceased

Add ts() to deceased string

Fix search for case tags that are part of tag sets

Changes to be committed:
modified:   CRM/Case/BAO/Query.php

5.17.0 release notes: late changes and tidy-up

(patch.ts-deceased) Add ts() to deceased

Add unique name to mailing_job.start_date

Preparation for switching the field to datepicker

Merge pull request #15209 from yashodha/dev1065

(dev/core#1065) Grant in Edit mode doesn't show the associated contact

(dev/core#1065) Grant in Edit mode doesn't show the associated contact

Merge pull request #15208 from civicrm/5.17

5.17 to master

Merge pull request #15207 from seamuslee001/5_16_4_5_17_release_notes

[NFC] Bring up 5.16.4 release notes into 5.17

Merge pull request #15203 from eileenmcnaughton/index_contact

Add index to civicrm_contact.created_date & modified_date

Merge pull request #15165 from fkohrt/master

SMTP help text and URL are misleading to Organization Address and Contact Info instead of leading to From Email Addresses; see also #14055 and #14329

Update 5.16.4.md

release-notes - Add 5.16.4

Merge pull request #15193 from pradpnayak/ChangeACLCacheCLass

Changed ClassName for ACL cache

Add index to civicrm_contact.created_date & modified_date

Note this will add the indexes to new installs or to installs who run the script to update indexes
(we used to promote this via a status check but there was a bug & we 'hushed' it & stopped trying to fix
the bug)

Merge pull request #15205 from colemanw/importableCommunicationStyle

Set contact communication_style_id as importable

Merge pull request #15156 from eileenmcnaughton/dedupe5

Replace some calls to CRM_Core_Error::fatal with exceptions

Set contact communication_style_id as importable

Merge pull request #15204 from pradpnayak/CacheTitle

Added field title for Cache table

Stop adding a refund payment from creating extraneous financial items

Per
https://github.com/civicrm/civicrm-core/pull/15143#issuecomment-527245150

and https://github.com/civicrm/civicrm-core/pull/13114/files#diff-8967f6e57d6209aa277ded6512413608L326
it seems agreed the financial items should not be created on refund.

This removes them & updates the test

Merge pull request #15196 from eileenmcnaughton/dedupe_api

dev/core#1230 [Dedupe] Add new api option to getduplicates, permitting a new search to be forced.

Added field title for Cache table