Merge pull request #15350 from seamuslee001/lab_core_1276

Ensure that price_field_value rows aren't duplicated when editing pri…

Ensure that price_field_value rows aren't duplicated when editing price field of type text

Merge pull request #15334 from mattwire/membership16_fixdupelineitems

dev/membership/#16 Fix duplicate lineitems when creating a recurring membership via backend

Merge pull request #15337 from alifrumin/rn5.18

Sorting and Annotating Release notes for 5.18

Annotating Release Notes for 5.18

Fix membership/issues#16 Duplicate lineitems when creating a recurring membership via backend

Merge pull request #15332 from agh1/5.18.0-releasenotes

5.18.0 release notes initial run

5.18.0 release notes: added boilerplate

5.18.0 release notes: raw from script

Merge pull request #15299 from seamuslee001/5.18

Add release-notes/5.17.4

Add release-notes/5.17.4

Merge pull request #15296 from eileenmcnaughton/518

dev/core#1241 : Custom field value for a new Event based on an Event …

dev/core#1241 : Custom field value for a new Event based on an Event Template are not checked causing false validation message and Event not to save

Merge pull request #15289 from colemanw/export-rc

dev/core#1246 fix fatal error on search builder if a core contact type is disabled

Merge pull request #15287 from MegaphoneJon/core-1247-518

Fix for core#1247 - export hook doesn't work

dev/core#1246 fix fatal error on search builder if a core contact type is disabled.

https://lab.civicrm.org/dev/core/issues/1246

Merge pull request #15288 from seamuslee001/5.18

Add release notes for 5.17.3

Add release notes for 5.17.3

Fix for core#1247 - export hook doesn't work

Merge pull request #15275 from eileenmcnaughton/email

Trim form values when adding LIKE operator

Merge pull request #15276 from eileenmcnaughton/email2

Ensure filtering on email via the api looks for an exact match

Merge pull request #15273 from eileenmcnaughton/518

Fix unreleased regression on batch merge through the UI

Ensure filtering on email  via the api  looks for an exact match

Trim form values when adding LIKE operator

This is more consistent with previous behaviour - ie 'info@civicrm.org' AND 'info@civicrm.org ' should work.

Fix unreleased regression on batch merge through the UI

We made searchLimit part of the cacheKey for found batches but in this place missed passing it in,
leading to it  not picking up the relevant cached entries & skipping them. Affects 5.18 rc & master

Merge pull request #15268 from mlutfy/partialFixDrupal8q-518

dev/drupal#52 Partial fix for Deprecated q variable

Merge pull request #15261 from JKingsnorth/report-paths-not-public

Remove is_public flag from report paths

dev/drupal#52 Partial fix for Deprecated q variable

Remove is_public flag from report paths

Even though these paths are publicly accessible, they are not intended as 'public' paths

Merge pull request #15260 from seamuslee001/5_17_2_release_notes

(NFC) 5 17 2 release notes

Update 5.17.2.md

Update 5.17.2.md

Add in release notes and bump version to be 5.17.2

Merge pull request #15255 from eileenmcnaughton/518

dev/core#1244 Fix regression on searching by email in advanced search

Fix regression on searching by contact in advanced search

Merge pull request #15253 from seamuslee001/5.18

Add in 5.17.1 Release notes and migrate .tpl file for 5.17.1 to 5.18 to support upgrade

Add in 5.17.1.mysql.tpl file to support fix for upgrade

Update 5.17.1.md

Add in release notes for 5.17.1 release

Merge pull request #15247 from seamuslee001/5.18

[NFC] Update Default report instances that filter on join date to be …

Merge pull request #15245 from seamuslee001/lab_core_1240

dev/core#1240 Ensure that Options are not duplicated when saving a co…

[NFC] Update Default report instances that filter on join date to be the correct field following datepicker change

dev/core#1240 Ensure that Options are not duplicated when saving a contribution or event page when specifying the options

Merge pull request #15239 from demeritcowboy/fix-pptx-upgrade-task

dev/core#1190 - typo in original version of upgrade function

Merge pull request #15240 from demeritcowboy/avoid-variable-name-conflict

dev/core#1123 - avoid possible variable name clash

avoid variable name clash

typo in original version of function

Merge pull request #15238 from eileenmcnaughton/5.18

(dev/core#1065) fix condition so that the contact field appears for s…

(dev/core#1065) fix condition so that the contact field appears for standalone/tab context for create mode

fix for create grant from tab

Merge pull request #15236 from eileenmcnaughton/map

dev/core#1236 fix miscasting on setContactSubType

Merge pull request #15234 from totten/5.18-testsqlop

SyntaxConformanceTest::testSqlOperators - Skip "Dedupe" entity on MySQL 5.5

Merge pull request #15233 from seamuslee001/lab_core_1233

dev/core#1233 Fix deleting of campaigns and saving of custom data for campaign and …

dev/core#1236 fix miscasting on setContactSubType

I think it makes sense to cast here rather than require a string

SyntaxConformanceTest::testSqlOperators - Skip "Dedupe" entity on MySQL 5.5

Overview
--------

This disables a particularly flaky test-scenario.

Technical Details
-----------------

The `SyntaxConformanceTest::testSqlOperators()` has been rather flaky for a
while.  (I think this goes back either to the creation of the test or the
expansion of Dedupe API -- in other words, the test of this scenario has
always been flaky.)

When the test fails, it looks like this:

```
api_v3_SyntaxConformanceTest::testSqlOperators with data set #28 ('Dedupe')
incorrect count returned from Dedupe getcount
Failed asserting that 0 matches expected 2.

/home/jenkins/bknix-min/build/build-1/web/sites/all/modules/civicrm/Civi/Test/Api3TestTrait.php:191
/home/jenkins/bknix-min/build/build-1/web/sites/all/modules/civicrm/tests/phpunit/api/v3/SyntaxConformanceTest.php:1131
/home/jenkins/bknix-min/build/build-1/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:215
/home/jenkins/bknix-min/civicrm-buildkit/extern/phpunit6/phpunit6.phar:570
```

I've spent a chunk of time investigating the flakiness and found:

1. The test usually (possibly always?) passes on MySQL 5.7.
2. The test often (but not always) fails on MySQL 5.5.
3. The version of PHP (php70 vs php72) does not make much difference.
4. The test never seems to fail when run by itself. The smallest
   scenario which seemd to reliably produce the failure was:
   ```
    env
      SYNTAX_CONFORMANCE_ENTITIES='ContactType Country Dedupe Domain StateProvince' \
      CIVICRM_UF=UnitTests \
      phpunit5 \
      --stop-on-failure --tap \
      tests/phpunit/api/v3/SyntaxConformanceTest.php \
      --filter '(testCustomDataGet|testLimit|testSqlOperators)'
    ```
5. The reproducibility differed on two laptops.  The laptops were largely
   identical wrt PHP/MySQL binaries+configuration (macOS,
   bknix@master-loco, `min` cfg). They differed in OS version
   and hardware specs. The slower machine (low-wattage 2-core CPU; 8gb; Mojave)
   produced test-failures much more reliably than the faster machine
   (high-wattage 4-core CPU; 16gb; Sierra).

Rationalizations for why it's OK to sip:

* The test will continue to be monitored on MySQL 5.7+.
* The test *does* pass reliably when run by itself on MySQL 5.5.
* [Civi doesn't officially support MySQL 5.5](https://docs.civicrm.org/sysadmin/en/latest/requirements/#mysql-version),
so we're not required to faff-about over a failure that only occurs on MySQL 5.5.

See also: https://chat.civicrm.org/civicrm/pl/s7nbkro8yjfgzk5z4epo8g9jph

Fix deleting of campaigns and saving of custom data for campaign and also ensure that goal_general is not html encoded as it is a wysiwyg field

Set version to 5.18.beta1

Merge pull request #15227 from eileenmcnaughton/dedupe

dev/core#1230 Permission nuancing, fix another place where merge duplicate contacts should be enough

Merge pull request #15226 from eileenmcnaughton/headers3

[Ref] [Import] Final round in the cleanup Load Mapping form epic

Merge pull request #15143 from eileenmcnaughton/p4

Stop adding a refund payment from creating extraneous financial items

Merge pull request #15171 from colemanw/daoCache

dev/core#1222 Clear static DAO cache when writing to DAO

dev/core#1230 Permission nuancing, fix another place where merge duplicate contacts should be enough

It seems fine for Rule.create & delete to require administer CiviCRM but merge duplicate contacts should be enough for get

Use shared function to add mapping form now dependencies are gone

Decommission loadSavedMapping now it is all cleaned up

The final result is that the 134 lines here https://github.com/civicrm/civicrm-core/blob/5.16/CRM/Contact/Import/Form/MapField.php#L407-L543

are now just 2 lines & we don't need a separte function

Although this does now free us to replace the 30 lines above with a call to the shared function

Move calculation for do_not_import js to processor

Move calc for do-not-import default to processor

Merge pull request #15224 from eileenmcnaughton/headers

Use metadata for dataPatterns

Clear static DAO cache when writing to DAO

Merge pull request #15154 from eileenmcnaughton/dedupe3

dev/core#1230 [Dedupe] Do not geocode while merging, rely on existing values

Use metadata for dataPatterns

This is a bit harder to add a test for than columnHeaders but the principle of the change is very much the
same so I'm thinking it can get  a free ride on that test

Merge pull request #15137 from andrewpthompson/joomla4-header-css

(dev/joomla#24) Stop CiviCRM's joomla.css from modifying Joomla 4 header background colour

Merge pull request #15220 from eileenmcnaughton/headers

[Import] [REF] code cleanup & test on the code to  'guess the intended  field  from the column name'

Merge pull request #15147 from demeritcowboy/activityTName2

dev/core#1123 - Changing the label for Inbound Email bypasses edit permission

Cleanup get handling to 'guess the column.

This gets us away from using the form session to pass around metadata & makes it testable.

Add test for getting columns from header

Merge pull request #15117 from eileenmcnaughton/member_renew

[REF] extract send receipt in MembershipRenewal fn

Merge pull request #15219 from eileenmcnaughton/import_next

[Ref] [Import] more code cleanup

Merge pull request #15187 from eileenmcnaughton/dedupe11

dev/core#1230 Loosen permissions to Dedupe.getstatistics api

Merge pull request #15188 from eileenmcnaughton/dedupe12

dev/core#1230 Dedupe permissions - allow safe mode merging based on 'merge duplicate contacts'

Merge pull request #15222 from 19ATF77/Constituent_Summary_Fix

Fixes inconsitency between constituency summary and constituency detail

Merge pull request #15115 from eileenmcnaughton/import_metadata

Fix fatal when saving import mapping with a relationship but 'Primary' location type

Fixes inconsitency between constituency summary and constituency detail

Merge pull request #15190 from eileenmcnaughton/import_bug

dev/core#1187 Fix bug where import will not do 2 phone types of the same location

Merge pull request #15159 from andrewpthompson/master

(dev/joomla#10) Remove Joomla-specific error display and use native CiviCRM

Merge pull request #15102 from mlutfy/fixPriceSetLabelHtml

Fix an HTML error in Calculate.tpl

Merge pull request #15217 from seamuslee001/group_nesting_group_org_test

[TEST] Enable apiv4 testing for GroupNesting and GroupOrganization entities

remove if that no longer makes sense

Remove jsSet & just construct the if better.

jsSet is always TRUE when if ([] != ts('- do not import -')) {

so we don't need it

Merge pull request #15118 from eileenmcnaughton/export

Fix export header for 'Contact ID'

Merge pull request #15218 from eileenmcnaughton/import_again

[REF] Move calculation of js for import fields WITH relationship keys to processor.

Move calculation of js for import fields WITH relationship keys to processor.

As should be obvious we can collapse a lot more out with the next commit now....

Merge pull request #15216 from demeritcowboy/attachment-url-2

dev/core#938 - remove duplicate lines

Merge pull request #15181 from seamuslee001/mailing_search_date_picker_conversion

[Datepicker][REF] Convert mailing date field on mailing search screen…

fix typo in second test and update to match first url workaround

Merge pull request #15053 from eileenmcnaughton/paypal

dev/membership#13 Add handling for missing MembershipPayment record.

Enable apiv4 testing for GroupNesting and GroupOrganization entities

Merge pull request #15215 from eileenmcnaughton/import_next

[Ref] Import use process for relationship defaults, add test

dev/membership#13 Add handling for missing MembershipPayment record.

We have an intermittent regression on extending memberships off paypal payments. This adds debug messages
and handling / tests for the scenario I suspect may be in play.

The 'decision' the code makes about how to create recurring transactions is all dependent on the 'template transaction'
- if that is not correct the follow on payments will not be.

This PR allows the membershipID input from paypal to be passed through and used.  This will override any
intended changes - but that just restores previous behaviour and we do not have good handling for these

https://lab.civicrm.org/dev/membership/issues/13

[Datepicker][REF] Convert mailing date field on mailing search screen to date picker

Remove a bunch of now-unused variables, will improve performance too as one involved a query

Ensure subtype is set on processor