Merge pull request #17834 from colemanw/api4perm

APIv4 - Add shorthand for setCheckPermissions()

Merge pull request #17870 from eileenmcnaughton/line

Use PrematureExit exception instead of weird hack in tests

Merge pull request #16429 from ixiam/dev/core#1113

dev/core#1113 - Decimal Separator - Invalid value "total_amount" (NaN,N) creating or editing a membership

Merge pull request #17869 from totten/master-regen-zipcode

(REF) regen.sh - Remove unusual handling of `zipcodes.mysql`

Merge pull request #17863 from demeritcowboy/be-greener

dev/report#43 - Icon after saving a civireport instance is misleading

Merge pull request #17823 from colemanw/upgradeSafe

Remove unnecessary try/catch per #17729

Use PrematureExit exception instead of weird hack in tests

Passing is_unit_test to a function to avoid the civiExit routine has been superceded by catching
PrematureExitExceptions

Merge pull request #17458 from eileenmcnaughton/export

dev/core#1725 Only export primary address fields

Merge pull request #17860 from eileenmcnaughton/test

api_v3_TaxContributionPageTest fix - remove hard coded processor id

Merge pull request #16626 from pradpnayak/lineItemFixes

Fixed DB Error: syntax error if line item refers to civicrm_case

(REF) regen.sh - Remove unusual handling of `zipcodes.mysql`

Overview
--------

This is a small refactoring in service of the broader goal of simplifying
the sample-data generation and incorporating it into the installer (where it
can be localized/configured and where we don't have to commit any blobs).

The current process revolves around `regen.sh` and `civicrm_generated.mysql`.

Before
------

`regen.sh` builds an example DB and dumps the content into `civicrm_generated.mysql`.

As part of this, it loads `zipcodes.mysql` into the example DB,
drops/creates a table `zipcodes`, then runs some setup work,
and then re-drops `zipcodes`.

This is only safe on an isolated database. If you're trying to run it on
a pre-existing database created by `$cms`, then you don't know if there's going
to be a conflict on `zipcodes`.

After
-----

It doesn't drop/create/drop the `zipcodes` table. It just reads from the file.

Comment
-------

The main change is fairly small.  It looks big because `zipcodes.mysql` as
to be reformatted as `zipcodes.json`.

Merge pull request #17865 from colemanw/summary

Fix potential js error on summary screen when reloading blocks

api_v3_TaxContributionPageTest fix - remove hard coded processor id

Merge pull request #17864 from colemanw/searchFix

Search Ext: fix loading options and parsing custom field names

Fix potential js error on summary screen when reloading blocks

Merge pull request #17861 from totten/master-dao-event

EventCart - Resolve BAO identity and uncommitted DAO changes

Search Ext: fix loading options and parsing custom field names

Merge pull request #17862 from colemanw/jobCleanup

[REF] ScheduledJob cleanup, remove unused var

ScheduledJob cleanup, remove unused var

tests for processReportMode

icon in status message is misleading

Merge pull request #17855 from seamuslee001/dev_core_1090

dev/core#1090 Update extendedSerializeData to use the Backbone namesp…

Merge pull request #17835 from demeritcowboy/test-contact-form

dev/core#1874 - Failing test for new Individual form

EventCart - Resolve BAO identity and uncommitted DAO changes

Overview
--------

This fixes a recent issue in which `setup.sh` is producing local-only changes to the `Cart`
and `EventInCart` DAO files.

To reduce ambiguity, I'm rephrasing the normal "Before/After" and giving a 3-step evolution/history.

Evolution
---------

(1) Traditionally, the `Cart`/`EventInCart` entities have both BAO+DAO in main source-tree.

(2) With #17743 (685bf3d218a9dad7e90d24aec165c63df12c1f67), the BAO moved away. But then
we get some detritus in the code-tree whenever you run `setup.sh`.

(3) With this patch, we don't get the detritus anymore.

Technical Details
-----------------

When I ran `setup.sh -g`, it produced local modifications like this:

```
diff --git a/CRM/Event/Cart/DAO/Cart.php b/CRM/Event/Cart/DAO/Cart.php
index 4683add13d..3a7f721dc1 100644
--- a/CRM/Event/Cart/DAO/Cart.php
+++ b/CRM/Event/Cart/DAO/Cart.php
@@ -94,7 +94,7 @@ class CRM_Event_Cart_DAO_Cart extends CRM_Core_DAO {
           'where' => 'civicrm_event_carts.id',
           'table_name' => 'civicrm_event_carts',
           'entity' => 'Cart',
-          'bao' => 'CRM_Event_Cart_BAO_Cart',
+          'bao' => 'CRM_Event_Cart_DAO_Cart',
           'localizable' => 0,
           'add' => '4.1',
         ],
```

(Let's ignore the cyclic dependency in this design - that's a messier/pre-existing
problem.)

That metadata is inaccurate.  The `bao` should point to the BAO, sinec the BAO does exist.

It's inaccurate because the BAO exists in a different location.

This patch allows you override the file-existence check -- saying, "this entity will
use BAO's even though they're not in the file-location you might normally expect."

Merge pull request #17858 from civicrm/dependabot/npm_and_yarn/lodash-4.17.19

Bump lodash from 4.17.15 to 4.17.19

Merge pull request #17859 from civicrm/5.28

5.28

Merge pull request #17836 from seamuslee001/dev_core_1874

dev/core#1874 Fix fatal error by passing through the string formatTyp…

Merge pull request #17841 from seamuslee001/eventcart_setting

[REF] Migrate Event Cart Setting into the Extension

Bump lodash from 4.17.15 to 4.17.19

Bumps [lodash](https://github.com/lodash/lodash) from 4.17.15 to 4.17.19.
- [Release notes](https://github.com/lodash/lodash/releases)
- [Commits](https://github.com/lodash/lodash/compare/4.17.15...4.17.19)

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #17856 from civicrm/5.28

5.28

Merge pull request #17851 from alifrumin/5.28rn

[NFC] 5.28 Release Notes First Pass

Merge pull request #17857 from demeritcowboy/membershiptest-5.28

[Test framework] - Backport of membership test fix

Merge pull request #17854 from demeritcowboy/missing-codeversion-5.28

dev/core#1882 - Missing version number in status check message about db version vs code version

backport of membership test fix

Merge pull request #17853 from seamuslee001/dev_wordpress_62

dev/wordpress#62 Update adrienrn/php-mimetyper gitignore file to ensu…

dev/core#1090 Update extendedSerializeData to use the Backbone namespace to fix an issue with recent versions of elementor wordpress plugin

missing version number in message

Merge pull request #17849 from mattwire/statichandlePaymentNotification

handlePaymentNotification() should not be declared as a static method

5.28 release notes: first pass

dev/wordpress#62 Update adrienrn/php-mimetyper gitignore file to ensure that sites that manage their systems using git can access the db.json file

Merge pull request #17850 from demeritcowboy/you-only-print-once

[REF] Only printOnly once

Merge pull request #17847 from colemanw/versionThreeAndFour

API tests - label versions in dataprovider versionThreeAndFour

Merge pull request #17848 from lcdservices/dev-core-1880

dev/core#1880 add backticks to custom field insertions

only printOnly once

CRM_Core_Payment::handlePaymentNotification() is not a static method

dev/core#1880 add backticks to custom field insertions

API tests - label versions in dataprovider versionThreeAndFour

Merge pull request #17845 from totten/master-api4-conf-provider

(REF) APIv4 ConformanceTest - Split apart into per-entity sub-tests

Merge pull request #17844 from demeritcowboy/check-packages

dev/core#1872 - Packages and vendor path calculation used in system check is outdated

(REF) APIv4 ConformanceTest - Split apart into per-entity sub-tests

Overview
--------

This updates a unit-test to make the output easier to understand.

We need more output because the test sporadically fails, and we don't know why.

Before
------

There is a function `testConformance()` which internally
loops through a list of entities.

Whenever the test fails, it aborts testing and reports one failure (for all
entities) without indicating the specific entity which failed.

After
-----

There is a test function `testConformance($entity)` which uses
a data provider.

Whenever the test fails, it will be logged with the entity name.
Testing can resume for additional entities.

Technical Details
-----------------

There are a couple technical distinctions between this revision, the
previous revision, and the comparable APIv3 test:

1. Each test-case returned by the '@dataProvider' has a symbolic name.
   These are easier to skim than numeric names.

2. The list of entities is *not* based on runtime services,
   because that constrains how PHPUnit and Civi lifecycles interact.
   It uses a heuristic/low-tech listing (`getEntitiesLotech()`).
   In the rare case where the low-tech list is wrong, it will complain
   and ask for maintenance.

paths are no longer always relative to civi root

Merge pull request #17842 from seamuslee001/regen

[NFC] Re run regen after recent merges

Merge pull request #17843 from civicrm/5.28

5.28

Merge pull request #17840 from seamuslee001/5272_rns

5.27.1 and 5.27.2 Release Notes

[NFC] Re run regen after recent merges

Merge pull request #17743 from eileenmcnaughton/eventcart

Move BAO and template files into event cart

Merge pull request #17839 from eileenmcnaughton/regen

Update regen.sh with new & upcoming core extensions

Add release-notes/5.27.1.md

Update 5.27.2.md

Remove dev/core#1847 - the initial fix caused other regressions, and the full fix merits a longer incubation

5.27.2 - Add release notes

[REF] Migrate Event Cart Setting into the Extension

Merge pull request #17830 from eileenmcnaughton/renewtest

MembershipRenewalTest - Fix failure

Move BAO and template files into event cart

Fix templates Path

Merge pull request #17826 from eileenmcnaughton/less_utf

Remove hard coded charset.

APIv4 - Add shorthand for setCheckPermissions()

Update regen.sh with new & upcoming core extensions

Putting this out there in case some goes 'oh I could just write the bash to do that off the folder names
in the directory.....

Test fix

dev/core#1874 Fix fatal error by passing through the string formatType rather than the date format when adding datepicker fields from metadata

Merge pull request #17833 from totten/master-website-test

(REF) WebsiteTest - Mitigate flaky failures

remove debugging

test for new Individual form

(REF) WebsiteTest - Mitigate flaky failures

Overview
--------

In recent days, api_v3_WebsiteTest has emitted sporadic failures like this:

```
api_v3_WebsiteTest::testDeleteWebsite with data set #0 (3)
Failed asserting that 3 matches expected 0.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:75
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

and

```
api_v3_WebsiteTest::testDeleteWebsiteInvalid with data set #0 (3)
Failed asserting that 4 matches expected 1.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:88
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

These failures do not reproduce for me in isolation.

Before
------

Both the failing assertions make an implicit assumption that the baseline content of `civicrm_website` is empty.

After
-----

The failing assertions use an explicit baseline (`$beforeCount`).

Comments
--------

The test failures are sporadic and only seem to seem occur when run in the full suite.

My theory is that something else is leaking `civicrm_website` records;
however, it's hard to track that down amidst a full suite (when the full
suite takes so long to execute).  Therefore, I cannot be certain that this
is actually fixes the problem.  However, this really just tightens up the
assumptions of the test - as long as it passes the PR tests, it should be
safe to merge and then watch in the `CiviCRM-Core-Matrix`.

Merge pull request #17815 from spalmstr/dev/core#1812

dev/core#1812 Missing view when logging set in a non-US English instance

Merge pull request #13958 from JMAConsulting/core-785

dev/core#785 Differentiate smart group from regular group using icon in select2 field

Merge pull request #17766 from colemanw/activityContacts

APIv4 - Add activity contacts to APIv4 field spec

Merge pull request #17825 from eileenmcnaughton/utf8

Adjust mysql SET NAMES in remaining places as we agreed this was the go

Merge pull request #17569 from JMAConsulting/core-1805

core#1805: Autocomplete-select custom field is not searchable

Remove hard coded charset.

In thinking about the proposal here
https://github.com/civicrm/civicrm-core/pull/13633/files#diff-c5e39924ad99ac88b48763a0d8fa246eR30
to switch to utf8mb4 I found that none of the places on the web that suggest functions like ours
specifiy charset - eg. https://stackoverflow.com/questions/287105/mysql-strip-non-numeric-characters-to-compare

When I look at the code it is iterating through the characters to find integers - which should
be the same regardless of charset. So, I think we can simply remove it.
:

Adjust mysql SET NAMES in remaining places as we agreed this was the go

Merge pull request #17695 from MegaphoneJon/event-template-fix

event#38 fix wording on event reg page

Merge pull request #17513 from JMAConsulting/core-1795

core#1795: Searchable Parent tags

APIv4 - Add activity contacts to APIv4 field spec

The BAO supports these pseudo-fields during save operations, this exposes them to the api explorer.

Merge pull request #17709 from spalmstr/dev/core#1768

dev/core#1768 - Add CiviMail synchronisation frequency setting.

Merge pull request #17813 from JKingsnorth/patch-15

Make new email open and url routes 'public'

Merge pull request #17809 from eileenmcnaughton/jong

Test for https://github.com/civicrm/civicrm-core/pull/15435

Merge pull request #17822 from demeritcowboy/packages-include-path

dev/core#1871 - require_once's that include "packages/" in the path don't work on drupal 8

Remove unnecessary try/catch per #17729

Merge pull request #17729 from colemanw/upgradeSafeApi

Make api get upgrade-safe

Merge pull request #17799 from civicrm/5.28

5.28

Merge pull request #17820 from seamuslee001/1867_qill

dev/core#1867 Ensure that the qill matches the filter when no time is…

packages is already in include_path

Merge pull request #17780 from totten/master-sync-into

CRM_Utils_SQL - Add "onDuplicate()" and "syncInto()" helpers

Test for https://github.com/civicrm/civicrm-core/pull/15435

dev/core#1867 Ensure that the qill matches the filter when no time is supplied

Merge pull request #17811 from eileenmcnaughton/fromto

dev/core#1867 CiviReport filters: Fix incorrect defaulting to the beginning rather than end the to-range day

Merge pull request #17814 from eileenmcnaughton/dedupe

Fix dedupe on same-activity-connection

Merge pull request #17800 from colemanw/cronCheck

CheckEnv - Give new installs a grace period before 'Cron Not Running' msg

Merge pull request #17816 from JKingsnorth/patch-16

Fix 'Undefined variable: jsSet in CRM_Core_BAO_Mapping::loadSavedMapping()'

Merge pull request #17812 from eileenmcnaughton/uff

dev/core#1861 fix failure to unset location_type_id when saving uffield

Merge pull request #17807 from colemanw/nonProdCronCheck

dev/core#1863 Downgrade checkEnvironment level and skip non-prod checks