Merge pull request #17856 from civicrm/5.28

5.28

Merge pull request #17851 from alifrumin/5.28rn

[NFC] 5.28 Release Notes First Pass

Merge pull request #17857 from demeritcowboy/membershiptest-5.28

[Test framework] - Backport of membership test fix

Merge pull request #17854 from demeritcowboy/missing-codeversion-5.28

dev/core#1882 - Missing version number in status check message about db version vs code version

backport of membership test fix

Merge pull request #17853 from seamuslee001/dev_wordpress_62

dev/wordpress#62 Update adrienrn/php-mimetyper gitignore file to ensu…

missing version number in message

Merge pull request #17849 from mattwire/statichandlePaymentNotification

handlePaymentNotification() should not be declared as a static method

5.28 release notes: first pass

dev/wordpress#62 Update adrienrn/php-mimetyper gitignore file to ensure that sites that manage their systems using git can access the db.json file

Merge pull request #17850 from demeritcowboy/you-only-print-once

[REF] Only printOnly once

Merge pull request #17847 from colemanw/versionThreeAndFour

API tests - label versions in dataprovider versionThreeAndFour

Merge pull request #17848 from lcdservices/dev-core-1880

dev/core#1880 add backticks to custom field insertions

only printOnly once

CRM_Core_Payment::handlePaymentNotification() is not a static method

dev/core#1880 add backticks to custom field insertions

API tests - label versions in dataprovider versionThreeAndFour

Merge pull request #17845 from totten/master-api4-conf-provider

(REF) APIv4 ConformanceTest - Split apart into per-entity sub-tests

Merge pull request #17844 from demeritcowboy/check-packages

dev/core#1872 - Packages and vendor path calculation used in system check is outdated

(REF) APIv4 ConformanceTest - Split apart into per-entity sub-tests

Overview
--------

This updates a unit-test to make the output easier to understand.

We need more output because the test sporadically fails, and we don't know why.

Before
------

There is a function `testConformance()` which internally
loops through a list of entities.

Whenever the test fails, it aborts testing and reports one failure (for all
entities) without indicating the specific entity which failed.

After
-----

There is a test function `testConformance($entity)` which uses
a data provider.

Whenever the test fails, it will be logged with the entity name.
Testing can resume for additional entities.

Technical Details
-----------------

There are a couple technical distinctions between this revision, the
previous revision, and the comparable APIv3 test:

1. Each test-case returned by the '@dataProvider' has a symbolic name.
   These are easier to skim than numeric names.

2. The list of entities is *not* based on runtime services,
   because that constrains how PHPUnit and Civi lifecycles interact.
   It uses a heuristic/low-tech listing (`getEntitiesLotech()`).
   In the rare case where the low-tech list is wrong, it will complain
   and ask for maintenance.

paths are no longer always relative to civi root

Merge pull request #17842 from seamuslee001/regen

[NFC] Re run regen after recent merges

Merge pull request #17843 from civicrm/5.28

5.28

Merge pull request #17840 from seamuslee001/5272_rns

5.27.1 and 5.27.2 Release Notes

[NFC] Re run regen after recent merges

Merge pull request #17743 from eileenmcnaughton/eventcart

Move BAO and template files into event cart

Merge pull request #17839 from eileenmcnaughton/regen

Update regen.sh with new & upcoming core extensions

Add release-notes/5.27.1.md

Update 5.27.2.md

Remove dev/core#1847 - the initial fix caused other regressions, and the full fix merits a longer incubation

5.27.2 - Add release notes

Merge pull request #17830 from eileenmcnaughton/renewtest

MembershipRenewalTest - Fix failure

Move BAO and template files into event cart

Fix templates Path

Merge pull request #17826 from eileenmcnaughton/less_utf

Remove hard coded charset.

Update regen.sh with new & upcoming core extensions

Putting this out there in case some goes 'oh I could just write the bash to do that off the folder names
in the directory.....

Test fix

Merge pull request #17833 from totten/master-website-test

(REF) WebsiteTest - Mitigate flaky failures

(REF) WebsiteTest - Mitigate flaky failures

Overview
--------

In recent days, api_v3_WebsiteTest has emitted sporadic failures like this:

```
api_v3_WebsiteTest::testDeleteWebsite with data set #0 (3)
Failed asserting that 3 matches expected 0.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:75
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

and

```
api_v3_WebsiteTest::testDeleteWebsiteInvalid with data set #0 (3)
Failed asserting that 4 matches expected 1.

/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/api/v3/WebsiteTest.php:88
/home/jenkins/bknix-max/build/build-2/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:209
/home/jenkins/bknix-max/extern/phpunit7/phpunit7.phar:615
```

These failures do not reproduce for me in isolation.

Before
------

Both the failing assertions make an implicit assumption that the baseline content of `civicrm_website` is empty.

After
-----

The failing assertions use an explicit baseline (`$beforeCount`).

Comments
--------

The test failures are sporadic and only seem to seem occur when run in the full suite.

My theory is that something else is leaking `civicrm_website` records;
however, it's hard to track that down amidst a full suite (when the full
suite takes so long to execute).  Therefore, I cannot be certain that this
is actually fixes the problem.  However, this really just tightens up the
assumptions of the test - as long as it passes the PR tests, it should be
safe to merge and then watch in the `CiviCRM-Core-Matrix`.

Merge pull request #17815 from spalmstr/dev/core#1812

dev/core#1812 Missing view when logging set in a non-US English instance

Merge pull request #13958 from JMAConsulting/core-785

dev/core#785 Differentiate smart group from regular group using icon in select2 field

Merge pull request #17766 from colemanw/activityContacts

APIv4 - Add activity contacts to APIv4 field spec

Merge pull request #17825 from eileenmcnaughton/utf8

Adjust mysql SET NAMES in remaining places as we agreed this was the go

Merge pull request #17569 from JMAConsulting/core-1805

core#1805: Autocomplete-select custom field is not searchable

Remove hard coded charset.

In thinking about the proposal here
https://github.com/civicrm/civicrm-core/pull/13633/files#diff-c5e39924ad99ac88b48763a0d8fa246eR30
to switch to utf8mb4 I found that none of the places on the web that suggest functions like ours
specifiy charset - eg. https://stackoverflow.com/questions/287105/mysql-strip-non-numeric-characters-to-compare

When I look at the code it is iterating through the characters to find integers - which should
be the same regardless of charset. So, I think we can simply remove it.
:

Adjust mysql SET NAMES in remaining places as we agreed this was the go

Merge pull request #17695 from MegaphoneJon/event-template-fix

event#38 fix wording on event reg page

Merge pull request #17513 from JMAConsulting/core-1795

core#1795: Searchable Parent tags

APIv4 - Add activity contacts to APIv4 field spec

The BAO supports these pseudo-fields during save operations, this exposes them to the api explorer.

Merge pull request #17709 from spalmstr/dev/core#1768

dev/core#1768 - Add CiviMail synchronisation frequency setting.

Merge pull request #17813 from JKingsnorth/patch-15

Make new email open and url routes 'public'

Merge pull request #17809 from eileenmcnaughton/jong

Test for https://github.com/civicrm/civicrm-core/pull/15435

Merge pull request #17822 from demeritcowboy/packages-include-path

dev/core#1871 - require_once's that include "packages/" in the path don't work on drupal 8

Merge pull request #17729 from colemanw/upgradeSafeApi

Make api get upgrade-safe

Merge pull request #17799 from civicrm/5.28

5.28

Merge pull request #17820 from seamuslee001/1867_qill

dev/core#1867 Ensure that the qill matches the filter when no time is…

packages is already in include_path

Merge pull request #17780 from totten/master-sync-into

CRM_Utils_SQL - Add "onDuplicate()" and "syncInto()" helpers

Test for https://github.com/civicrm/civicrm-core/pull/15435

dev/core#1867 Ensure that the qill matches the filter when no time is supplied

Merge pull request #17811 from eileenmcnaughton/fromto

dev/core#1867 CiviReport filters: Fix incorrect defaulting to the beginning rather than end the to-range day

Merge pull request #17814 from eileenmcnaughton/dedupe

Fix dedupe on same-activity-connection

Merge pull request #17800 from colemanw/cronCheck

CheckEnv - Give new installs a grace period before 'Cron Not Running' msg

Merge pull request #17816 from JKingsnorth/patch-16

Fix 'Undefined variable: jsSet in CRM_Core_BAO_Mapping::loadSavedMapping()'

Merge pull request #17812 from eileenmcnaughton/uff

dev/core#1861 fix failure to unset location_type_id when saving uffield

Merge pull request #17807 from colemanw/nonProdCronCheck

dev/core#1863 Downgrade checkEnvironment level and skip non-prod checks

CheckEnv - Give new installs a grace period before 'Cron Not Running' error

dev/core#1812

[NFC] Ensure jsSet returned variable exists

Fix dedupe on same-activity-connection

Make email open and url routes public

Merge pull request #17803 from eileenmcnaughton/dedupe

dev/core#1862 Skip cache tables during merge, rely on cache management processes

dev/core#1861 fix failure to unset location_type_id when saving uffield

https://lab.civicrm.org/dev/core/-/issues/1861

If this is a regression it probably from 2017
https://github.com/civicrm/civicrm-core/commit/2e74ff5574027b2ce84177b82884ebd7c9b87fd1#diff-1911d0c1a896701ba9aa044181f5972bR556

Fix incorrect defaulting to the beginning rather than end the to-range day

dev/core#1862 Skip cache tables during merge, rely on cache management processes

We later call Contact.create on both contacts so that should manage the caches for this update 'as well as for any other update'
and solve the bug + reduce locking queries

Merge pull request #17797 from seamuslee001/dev_core_1865

dev/core#1865 Remove civiwp and option query strings from redirected …

Merge pull request #15435 from MegaphoneJon/reporting-21

reporting#21 - don't multiple contribution details when a 1-to-many r…

Downgrade checkEnvironment level and skip non-prod checks

Merge pull request #17762 from eileenmcnaughton/date

dev/core#1847 Fix datepicker to respect the searchDate offsets

Merge pull request #17789 from eileenmcnaughton/search

Add hidden tag to search extension

Merge pull request #17788 from eileenmcnaughton/update

[REF] Follow up cleanup

dev/core#1847 Fix datepicker to respect the searchDate offsets

I have some misgivings about this since I suspect the rationale behind the search offsets was primarily about the clunky UI.

Having said that I think the datepicker UI is a bit clunky on this front too as it's not obvious you can choose earlier
dates. This does at least restore established behaviour.

https://lab.civicrm.org/dev/core/-/issues/1847

Merge pull request #17723 from seamuslee001/feature_contribution_detail_no_acl

[REF] Remove ACL join on temp table creation in Member ContributionDe…

Merge pull request #17769 from seamuslee001/lab_core_1858

dev/core#1858 Prevent Duplicate contact records being created and har…

Merge pull request #17798 from seamuslee001/dev_core_1864

dev/core#1864 Ensure that when search in trash is not checked that on…

Merge pull request #17801 from colemanw/statusPrefCleanup

REF - Cleanup StatusPreference BAO to be more standard

Merge pull request #17794 from eileenmcnaughton/act_perms

Sort permittedActivityTypes

Merge pull request #17792 from agh1/5.28.0-releasenotes-initial

5.28.0 release notes initial run

dev/core#1858 Ensure that no duplicate contact is created by if we have the contactID in the post variable from the contact task form that we map that to contact_id for the dedupe params

Add in a code comment describing the issue

dev/core#1865 Remove civiwp and option query strings from redirected url as they only relate to CiviCRM internal uses

dev/core#1864 Ensure that when search in trash is not checked that only contacts not deleted are returned in the advanced search form

REF - Cleanup StatusPreference BAO to be more standard

Merge pull request #17795 from demeritcowboy/comment-resultset

[REF] Do or do not - there is no try

unnecessary try block

Merge pull request #17683 from agh1/memberdetailreportautorenew

Add auto-renew status to membership detail report

Merge pull request #17791 from colemanw/dev/core#1866

APIv4 - Fix saving custom fields with same name

Sort permittedActivityTypes

When determining whether to add a clause filtering activity types the permitted types
are compared to all types. If all are permitted no clause is needed.

However, without this sort it is incorrectly seeing them as not matching and adding extraneous joins

Merge pull request #17698 from agh1/checkwpbasepage

Add system check to ensure WP base page exists

5.28.0 release notes: added boilerplate

5.28.0 release notes: raw from script

Fix saving custom fields with same name

Merge pull request #17786 from demeritcowboy/profile-description

dev/core#1868 - Regression - Description field is always blank on profiles admin page and slew of E_NOTICES