Merge pull request #17864 from colemanw/searchFix

Search Ext: fix loading options and parsing custom field names

Merge pull request #17861 from totten/master-dao-event

EventCart - Resolve BAO identity and uncommitted DAO changes

Search Ext: fix loading options and parsing custom field names

Merge pull request #17862 from colemanw/jobCleanup

[REF] ScheduledJob cleanup, remove unused var

ScheduledJob cleanup, remove unused var

Merge pull request #17855 from seamuslee001/dev_core_1090

dev/core#1090 Update extendedSerializeData to use the Backbone namesp…

Merge pull request #17835 from demeritcowboy/test-contact-form

dev/core#1874 - Failing test for new Individual form

EventCart - Resolve BAO identity and uncommitted DAO changes

Overview
--------

This fixes a recent issue in which `setup.sh` is producing local-only changes to the `Cart`
and `EventInCart` DAO files.

To reduce ambiguity, I'm rephrasing the normal "Before/After" and giving a 3-step evolution/history.

Evolution
---------

(1) Traditionally, the `Cart`/`EventInCart` entities have both BAO+DAO in main source-tree.

(2) With #17743 (685bf3d218a9dad7e90d24aec165c63df12c1f67), the BAO moved away. But then
we get some detritus in the code-tree whenever you run `setup.sh`.

(3) With this patch, we don't get the detritus anymore.

Technical Details
-----------------

When I ran `setup.sh -g`, it produced local modifications like this:

```
diff --git a/CRM/Event/Cart/DAO/Cart.php b/CRM/Event/Cart/DAO/Cart.php
index 4683add13d..3a7f721dc1 100644
--- a/CRM/Event/Cart/DAO/Cart.php
+++ b/CRM/Event/Cart/DAO/Cart.php
@@ -94,7 +94,7 @@ class CRM_Event_Cart_DAO_Cart extends CRM_Core_DAO {
           'where' => 'civicrm_event_carts.id',
           'table_name' => 'civicrm_event_carts',
           'entity' => 'Cart',
-          'bao' => 'CRM_Event_Cart_BAO_Cart',
+          'bao' => 'CRM_Event_Cart_DAO_Cart',
           'localizable' => 0,
           'add' => '4.1',
         ],
```

(Let's ignore the cyclic dependency in this design - that's a messier/pre-existing
problem.)

That metadata is inaccurate.  The `bao` should point to the BAO, sinec the BAO does exist.

It's inaccurate because the BAO exists in a different location.

This patch allows you override the file-existence check -- saying, "this entity will
use BAO's even though they're not in the file-location you might normally expect."

Merge pull request #17858 from civicrm/dependabot/npm_and_yarn/lodash-4.17.19

Bump lodash from 4.17.15 to 4.17.19

Merge pull request #17859 from civicrm/5.28

5.28

Merge pull request #17836 from seamuslee001/dev_core_1874

dev/core#1874 Fix fatal error by passing through the string formatTyp…

Merge pull request #17841 from seamuslee001/eventcart_setting

[REF] Migrate Event Cart Setting into the Extension

Bump lodash from 4.17.15 to 4.17.19

Bumps [lodash](https://github.com/lodash/lodash) from 4.17.15 to 4.17.19.
- [Release notes](https://github.com/lodash/lodash/releases)
- [Commits](https://github.com/lodash/lodash/compare/4.17.15...4.17.19)

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #17856 from civicrm/5.28

5.28

Merge pull request #17851 from alifrumin/5.28rn

[NFC] 5.28 Release Notes First Pass

Merge pull request #17857 from demeritcowboy/membershiptest-5.28

[Test framework] - Backport of membership test fix

Merge pull request #17854 from demeritcowboy/missing-codeversion-5.28

dev/core#1882 - Missing version number in status check message about db version vs code version

backport of membership test fix

Merge pull request #17853 from seamuslee001/dev_wordpress_62

dev/wordpress#62 Update adrienrn/php-mimetyper gitignore file to ensu…

dev/core#1090 Update extendedSerializeData to use the Backbone namespace to fix an issue with recent versions of elementor wordpress plugin

missing version number in message

Merge pull request #17849 from mattwire/statichandlePaymentNotification

handlePaymentNotification() should not be declared as a static method

5.28 release notes: first pass

dev/wordpress#62 Update adrienrn/php-mimetyper gitignore file to ensure that sites that manage their systems using git can access the db.json file

Merge pull request #17850 from demeritcowboy/you-only-print-once

[REF] Only printOnly once

Merge pull request #17847 from colemanw/versionThreeAndFour

API tests - label versions in dataprovider versionThreeAndFour

Merge pull request #17848 from lcdservices/dev-core-1880

dev/core#1880 add backticks to custom field insertions

only printOnly once

CRM_Core_Payment::handlePaymentNotification() is not a static method

dev/core#1880 add backticks to custom field insertions

API tests - label versions in dataprovider versionThreeAndFour

Merge pull request #17845 from totten/master-api4-conf-provider

(REF) APIv4 ConformanceTest - Split apart into per-entity sub-tests

Merge pull request #17844 from demeritcowboy/check-packages

dev/core#1872 - Packages and vendor path calculation used in system check is outdated

(REF) APIv4 ConformanceTest - Split apart into per-entity sub-tests

Overview
--------

This updates a unit-test to make the output easier to understand.

We need more output because the test sporadically fails, and we don't know why.

Before
------

There is a function `testConformance()` which internally
loops through a list of entities.

Whenever the test fails, it aborts testing and reports one failure (for all
entities) without indicating the specific entity which failed.

After
-----

There is a test function `testConformance($entity)` which uses
a data provider.

Whenever the test fails, it will be logged with the entity name.
Testing can resume for additional entities.

Technical Details
-----------------

There are a couple technical distinctions between this revision, the
previous revision, and the comparable APIv3 test:

1. Each test-case returned by the '@dataProvider' has a symbolic name.
   These are easier to skim than numeric names.

2. The list of entities is *not* based on runtime services,
   because that constrains how PHPUnit and Civi lifecycles interact.
   It uses a heuristic/low-tech listing (`getEntitiesLotech()`).
   In the rare case where the low-tech list is wrong, it will complain
   and ask for maintenance.

paths are no longer always relative to civi root

Merge pull request #17842 from seamuslee001/regen

[NFC] Re run regen after recent merges

Merge pull request #17843 from civicrm/5.28

5.28

Merge pull request #17840 from seamuslee001/5272_rns

5.27.1 and 5.27.2 Release Notes

[NFC] Re run regen after recent merges

Merge pull request #17743 from eileenmcnaughton/eventcart

Move BAO and template files into event cart

Merge pull request #17839 from eileenmcnaughton/regen

Update regen.sh with new & upcoming core extensions

Add release-notes/5.27.1.md

Update 5.27.2.md

Remove dev/core#1847 - the initial fix caused other regressions, and the full fix merits a longer incubation

5.27.2 - Add release notes

[REF] Migrate Event Cart Setting into the Extension

Merge pull request #17830 from eileenmcnaughton/renewtest

MembershipRenewalTest - Fix failure

Move BAO and template files into event cart

Fix templates Path

Merge pull request #17826 from eileenmcnaughton/less_utf

Remove hard coded charset.

Update regen.sh with new & upcoming core extensions

Putting this out there in case some goes 'oh I could just write the bash to do that off the folder names
in the directory.....

Test fix

dev/core#1874 Fix fatal error by passing through the string formatType rather than the date format when adding datepicker fields from metadata

Merge pull request #17833 from totten/master-website-test

(REF) WebsiteTest - Mitigate flaky failures

remove debugging

test for new Individual form

(REF) WebsiteTest - Mitigate flaky failures

Overview
--------

In recent days, api_v3_WebsiteTest has emitted sporadic failures like this:

```
api_v3_WebsiteTest::testDeleteWebsite with data set #0 (3)
Failed asserting that 3 matches expected 0.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:75
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

and

```
api_v3_WebsiteTest::testDeleteWebsiteInvalid with data set #0 (3)
Failed asserting that 4 matches expected 1.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:88
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

These failures do not reproduce for me in isolation.

Before
------

Both the failing assertions make an implicit assumption that the baseline content of `civicrm_website` is empty.

After
-----

The failing assertions use an explicit baseline (`$beforeCount`).

Comments
--------

The test failures are sporadic and only seem to seem occur when run in the full suite.

My theory is that something else is leaking `civicrm_website` records;
however, it's hard to track that down amidst a full suite (when the full
suite takes so long to execute).  Therefore, I cannot be certain that this
is actually fixes the problem.  However, this really just tightens up the
assumptions of the test - as long as it passes the PR tests, it should be
safe to merge and then watch in the `CiviCRM-Core-Matrix`.

Merge pull request #17815 from spalmstr/dev/core#1812

dev/core#1812 Missing view when logging set in a non-US English instance

Merge pull request #13958 from JMAConsulting/core-785

dev/core#785 Differentiate smart group from regular group using icon in select2 field

Merge pull request #17766 from colemanw/activityContacts

APIv4 - Add activity contacts to APIv4 field spec

Merge pull request #17825 from eileenmcnaughton/utf8

Adjust mysql SET NAMES in remaining places as we agreed this was the go

Merge pull request #17569 from JMAConsulting/core-1805

core#1805: Autocomplete-select custom field is not searchable

Remove hard coded charset.

In thinking about the proposal here
https://github.com/civicrm/civicrm-core/pull/13633/files#diff-c5e39924ad99ac88b48763a0d8fa246eR30
to switch to utf8mb4 I found that none of the places on the web that suggest functions like ours
specifiy charset - eg. https://stackoverflow.com/questions/287105/mysql-strip-non-numeric-characters-to-compare

When I look at the code it is iterating through the characters to find integers - which should
be the same regardless of charset. So, I think we can simply remove it.
:

Adjust mysql SET NAMES in remaining places as we agreed this was the go

Merge pull request #17695 from MegaphoneJon/event-template-fix

event#38 fix wording on event reg page

Merge pull request #17513 from JMAConsulting/core-1795

core#1795: Searchable Parent tags

APIv4 - Add activity contacts to APIv4 field spec

The BAO supports these pseudo-fields during save operations, this exposes them to the api explorer.

Merge pull request #17709 from spalmstr/dev/core#1768

dev/core#1768 - Add CiviMail synchronisation frequency setting.

Merge pull request #17813 from JKingsnorth/patch-15

Make new email open and url routes 'public'

Merge pull request #17809 from eileenmcnaughton/jong

Test for https://github.com/civicrm/civicrm-core/pull/15435

Merge pull request #17822 from demeritcowboy/packages-include-path

dev/core#1871 - require_once's that include "packages/" in the path don't work on drupal 8

Merge pull request #17729 from colemanw/upgradeSafeApi

Make api get upgrade-safe

Merge pull request #17799 from civicrm/5.28

5.28

Merge pull request #17820 from seamuslee001/1867_qill

dev/core#1867 Ensure that the qill matches the filter when no time is…

packages is already in include_path

Merge pull request #17780 from totten/master-sync-into

CRM_Utils_SQL - Add "onDuplicate()" and "syncInto()" helpers

Test for https://github.com/civicrm/civicrm-core/pull/15435

dev/core#1867 Ensure that the qill matches the filter when no time is supplied

Merge pull request #17811 from eileenmcnaughton/fromto

dev/core#1867 CiviReport filters: Fix incorrect defaulting to the beginning rather than end the to-range day

Merge pull request #17814 from eileenmcnaughton/dedupe

Fix dedupe on same-activity-connection

Merge pull request #17800 from colemanw/cronCheck

CheckEnv - Give new installs a grace period before 'Cron Not Running' msg

Merge pull request #17816 from JKingsnorth/patch-16

Fix 'Undefined variable: jsSet in CRM_Core_BAO_Mapping::loadSavedMapping()'

Merge pull request #17812 from eileenmcnaughton/uff

dev/core#1861 fix failure to unset location_type_id when saving uffield

Merge pull request #17807 from colemanw/nonProdCronCheck

dev/core#1863 Downgrade checkEnvironment level and skip non-prod checks

CheckEnv - Give new installs a grace period before 'Cron Not Running' error

dev/core#1812

[NFC] Ensure jsSet returned variable exists

Fix dedupe on same-activity-connection

Make email open and url routes public

Merge pull request #17803 from eileenmcnaughton/dedupe

dev/core#1862 Skip cache tables during merge, rely on cache management processes

dev/core#1861 fix failure to unset location_type_id when saving uffield

https://lab.civicrm.org/dev/core/-/issues/1861

If this is a regression it probably from 2017
https://github.com/civicrm/civicrm-core/commit/2e74ff5574027b2ce84177b82884ebd7c9b87fd1#diff-1911d0c1a896701ba9aa044181f5972bR556

Fix incorrect defaulting to the beginning rather than end the to-range day

dev/core#1862 Skip cache tables during merge, rely on cache management processes

We later call Contact.create on both contacts so that should manage the caches for this update 'as well as for any other update'
and solve the bug + reduce locking queries

Merge pull request #17797 from seamuslee001/dev_core_1865

dev/core#1865 Remove civiwp and option query strings from redirected …

Merge pull request #15435 from MegaphoneJon/reporting-21

reporting#21 - don't multiple contribution details when a 1-to-many r…

Downgrade checkEnvironment level and skip non-prod checks

Merge pull request #17762 from eileenmcnaughton/date

dev/core#1847 Fix datepicker to respect the searchDate offsets

Merge pull request #17789 from eileenmcnaughton/search

Add hidden tag to search extension

Merge pull request #17788 from eileenmcnaughton/update

[REF] Follow up cleanup

dev/core#1847 Fix datepicker to respect the searchDate offsets

I have some misgivings about this since I suspect the rationale behind the search offsets was primarily about the clunky UI.

Having said that I think the datepicker UI is a bit clunky on this front too as it's not obvious you can choose earlier
dates. This does at least restore established behaviour.

https://lab.civicrm.org/dev/core/-/issues/1847

Merge pull request #17723 from seamuslee001/feature_contribution_detail_no_acl

[REF] Remove ACL join on temp table creation in Member ContributionDe…

Merge pull request #17769 from seamuslee001/lab_core_1858

dev/core#1858 Prevent Duplicate contact records being created and har…