Improve tearDown cleanup of domain contacts

    Fixes to ensure the domain contacts from addresses are re-instated

Merge pull request #18969 from seamuslee001/dev_core_2187

dev/core#2187 Allow sites to customise the default number of rows ret…

(REF) dev/core#2601 - Cleanup stale parameter

Overview
--------

This cleans up a parameter that became unused/unnecessary in #20256.

History
-------

This revision is a little bouncy. Instead of before/after, here's a history:

* `<= v5.36`: `getAllModulePermissions($descriptions = FALSE)`
* `=  v5.37.0`: `getAllModulePermissions($descriptions = FALSE, &$permissions)`
* `>= v.37.1`: `getAllModulePermissions($descriptions = FALSE)`

I grepped `universe` to confirm that no other repos were using the intermediate signature.

dev/core#2187 Allow sites to customsie the default number of rows returned from QuickForm Searches

unused function

Merge pull request #20204 from eileenmcnaughton/freeze

Freeze readonly fields

Merge pull request #20260 from agileware/CIVICRM-1733

CiviCRM Scheduled Reminders, Subject field missing Token selector - users must copy Token from Body field to Subject

CIVICRM-1734 Change the help text for Message Templates and Scheduled Reminders to include link to CiviCRM Token Documentation page

Merge pull request #20265 from mattwire/api4customgroupdelete

Fix delete customgroup using API4 so it removes data table

Merge pull request #20266 from civicrm/5.38

5.38

APIv4 - Add test to ensure custom tables are deleted

Merge pull request #20256 from eileenmcnaughton/538

dev/core#2601 fix joomla permission regression

Fix delete customgroup using API4 so it removes data table

Merge pull request #20254 from seamuslee001/fix_d9_install

Make APIv4 Subscribers Public to fix D9 install

Merge pull request #20261 from eileenmcnaughton/tt2

fix missing parent tearDown

Merge pull request #20262 from eileenmcnaughton/tt3

Fix missing parent tearDown

Afform - Drag & drop fixes

The drag-drop validation broke when af-gui-field was changed from a directive to
a component, as the jQuery was looking for the wrong markup.

Additionally, this attempts to fix a hard-to-reproduce bug where the styling
gets stuck in a "dragging" state after something has been dropped.

Fix missing parent tearDown

fix missing parent tearDown

CIVICRM-1733 CiviCRM Scheduled Reminders, Subject field missing Token selector field

Merge pull request #20257 from eileenmcnaughton/v3test

[NFC] Test - fix to use v3 api on postAsserts

Merge pull request #20242 from eileenmcnaughton/group

[REF] Extract code determining list of groups requiring a refresh

[NFC] Test - fix to use v3 api on postAsserts

Merge pull request #20253 from eileenmcnaughton/cont_test

[Test] Improve cleanup of domain contacts

Merge pull request #20255 from demeritcowboy/mysql-compare

dev/core#2602 - Installer doesn't check mysql version properly

dev/core#2601 fix joomla permission regression

This was a change we ultimately decided to, but forgot to, revert. It gave
extensions the ability to modify already-defined-permissons but
was brought out of scope of the change as it required more
consideration that simply adding the new super duper permission

In the meantime it caused a Joomla! regression
https://lab.civicrm.org/dev/core/-/issues/2601

[Test] Improve cleanup of domain contacts

This fixes a situation where the domain contact may not have an email (or exist) if this
test is run in combination with certain others. The last test in the suite relies on the
domain contact having an email. This test was not following the practice
of having a tearDown but the tearDown was also flawed in recreating the domain
contacts but not their emails

fix comparison

Make APIv4 Subscribers Public to fix D9 install

Merge pull request #20121 from colemanw/l10nJs

Switch l10n.js from ajax callback to assetBuilder

Merge pull request #20250 from eileenmcnaughton/in

Test fix - assertion fails when run with other tests (sometimes)

Test fix - assertion fails when run with other tests (sometimes)

The assertion that invoice_number = INV_ + contribution_id is wrong. In fact
it is calculated as INV_ + (MAX(contribution_id)+1) prior to the contribution
being saved. This means that if the table has not been truncated the contribution
id might be 3 but the invoice_number would still be 0+1 - ie INV_1

- we could argue about whether the calculation method is flawed but this at least
makes the test more reliable and no-one has complained in practice about the
code behaviour

Merge pull request #20248 from eileenmcnaughton/tes

Improve cleanup on contact test

Improve cleanup on contact test

We are not deleting all financial entities, when created, meaning this
test can cause other tests to fail depending on the combo

Merge pull request #20238 from colemanw/civiCaseSave

APIv4 - CiviCase API: Fix openening a case with current user as creator

Merge pull request #20247 from civicrm/dependabot/npm_and_yarn/lodash-4.17.21

Bump lodash from 4.17.19 to 4.17.21

[REF] Fix function signature to actually-used variables

ids used to hold a whole lotta stuff. Now it just holds contributionRecurID.

This gets rid of ids as a param & just passes contributionRecurID

Bump lodash from 4.17.19 to 4.17.21

Bumps [lodash](https://github.com/lodash/lodash) from 4.17.19 to 4.17.21.
- [Release notes](https://github.com/lodash/lodash/releases)
- [Commits](https://github.com/lodash/lodash/compare/4.17.19...4.17.21)

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #20144 from eileenmcnaughton/never

hook_managed - do not try to disable managed entities if is_active is not available to api3.create

Set version to 5.39.alpha1

Set version to 5.38.beta1

Merge pull request #20152 from colemanw/resetLocationProviderHashPrefix

Globally reset angular hashPrefix

(NFC) Add comments about keeping two items sync'd

Merge pull request #20245 from eileenmcnaughton/ft

dev/core#2575 remove / improve indexes

ManagedEntities - Only set `is_active` if entity supports it

(REF) Extract method ManagedEntities::isActivationSupported()

Merge pull request #20244 from eileenmcnaughton/pp

dev/core#2593 [REF] Stop passing membership id into recur notify

dev/core#2575 remove / improve indexes

This removes a couple of indexes on the id field as they duplicate the primary key
as pointed out in https://lab.civicrm.org/dev/core/-/issues/2575

In addition a couple of other indexes are removed as duplicates but the
originals are fixed to be more meaningful. It's important that in a combined
key the field with the lowest cardinality is the first as the combined key is
searched for a complete match so on something like line_item we see the
key is

civicrm_contribution1
civicrm_contribution10
civicrm_contribution1111
civicrm_membership1

In this case there are only 3 possible variants for the first chunk of
characters so we get a much more effective key by reversing them.
(arguably the entity_table actually adds no value due to it's low
cardinality).

The original post
https://civicrm.stackexchange.com/questions/39409/redundant-indexes
also suggests that

is_deleted_sort_name_id duplicates the id index

That is not the case - this query would only ever be
used if is_deleted is a filter. If it IS used then the id
index would NOT be used as only one index is used per table.

However, note that the id part of the filter would only be used if
is_deleted and sort_name were too - so the id part is of little value
as the last parameter & it's likely mysql would chose to use the
primary key instead.

However, I would argue the index as a whole is of little value. The
cardinality of is_deleted is super low and so preceding sort_name
with it is probably inferior to just leaving the
sort_name index to be used. However, this would need testing on
a site with enough data to get results.

On the queue index - it's hard to imagine that having more than the
queue name in the index adds any value at all. However, this is also such a small
table that probably the index has almost no size and the query probably takes
almost no time to run so the time we would spend testing index changes on
this table we would likely never get back.

Note changing these indexes will only affect new sites - or existing sites if they
run the System.updateIndexes api. We do have a ticket open
https://lab.civicrm.org/dev/core/-/issues/2279 with a proposal to
allow sites to define their own indexes which would work in conjunction with the
above api call (since indexes are not 1 size fits all - for example we
have removed indexes on things like contribution_status_id due to
low cardinality). We don't pro-actively run index updates on upgrade
due to not wanting to alter custom index config until 2279 is resolved
and also because some old DBs hit issues that we never diagnosed (and stopped
trying to once we stopped pro-actively notifying them about them)

[REF] Stop passing membership id into recur notify

The membership id resolves to a boolean template parameter of whether a membership is attached to the relevant
recurring record. The classes that call this function do a lot of work
to determine this so it's better to calculate it in-function and
simplify those classes

APIv4 - CiviCase API: Fix openening a case with current user as creator

The DAOActionTrait::writeObjects function was formatting values but not by reference,
so the CiviCase writeObjects function was using unformatted values to open the case,
which would contain the raw string `user_contact_id` instead of the processed value.

[REF] Extract code determining list of groups requiring a refresh

Merge pull request #20145 from colemanw/afformRouteParams

Afform - Fix loading entities from url args

Merge pull request #20240 from eileenmcnaughton/actnfc

[NFC] Code cleanup, docblocks, strict comparison, type hints

Merge pull request #20237 from eileenmcnaughton/nfc

[NFC] code cleanups in test class

Merge pull request #20233 from eileenmcnaughton/order_tax

Extract sales tax test config to a trait

[NFC] code cleanups

[NFC] Code cleanup, docblocks, strict comparison, type hints

Merge pull request #20125 from colemanw/searchContactRef

SearchKit - Fix updating Entity Ref fields

Merge pull request #20235 from seamuslee001/master

(5.37  merge into master) dev/core#2586 fix failure to null thank you

dev/core#2586 fix failure to null thank you

5.35 regression from this

https://github.com/civicrm/civicrm-core/commit/aa9e580fd8ce5824d627bdaf797a3ccd6732f1a0

Extract sales tax config to a trait

Merge pull request #20232 from totten/merge-master-5.37

Merge forward (5.37 => master)

Merge pull request #20228 from colemanw/afformBlockDefault

Afform - Set default position for contact layout editor

5.37.0.md - Add 20222 and 20227

5.37.0.md - Minor copy-edits

5.37.0 release notes: added late changes

failing test for PR 20222

fix what happens on 3rd iteration

Merge pull request #20221 from totten/master-subscribers

Api4 Services - Lazy-load subscriber-objects

Activate user when no activation is required

Afform - Set default position for contact layout editor

This makes afform blocks appear in their default positions on the
system default layout in contactlayout 2.0+

It's backward-compatible with earlier versions of the extension

Merge pull request #20199 from kartik1000/altering_recaptcha_form

dev/core#2571: Add form function of utils/Recaptcha has been altered to avoid checking variable "isCaptcha"

Merge pull request #20219 from colemanw/campaignComponent

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20224 from agileware/CIVICRM-1729

Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

Merge pull request #20226 from civicrm/5.37

5.37

Merge pull request #20223 from JMAConsulting/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

CIVICRM-1729 Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

allow event transfer on backend when self-service transfer is disabled

Do not error on view contribution recur if not displaying contributions

Only attempt to disable entity if v3 create+is_active is an option

Use order api when creating a recurring membership from the Membership backoffice form

This removes the need for some 'magic' code from the membership BAO that was really only
there to support the fact that this code was doing some particularly convoluted
manoevering in order to share code with the front end form (since unshared).

Not this adds a feature Matt requested - the created membership id is returned. This
is only done for memberships at the moment but could be other entities too as
test cover is added (the membership tests fail without the change in this
PR so it has cover in the context it is added

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20150 from MegaphoneJon/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

Merge pull request #20218 from seamuslee001/pear_log_drupal9_fix

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20146 from eileenmcnaughton/log

Fix enotice when Log service is swapped out

Api4 Services - Lazy-load subscriber-objects

This refines the way in which `Civi/Api4/Event/Subscriber/**.php` are loaded.
This makes it safer (from a performance POV) to continue adding more
subscribers/listeners without worrying that it will impact the quantity of
files/classes/opcodes/SLOC loaded in a typical page-view.

A good way to visualize this change is to skim `getDispatcherService()`
(`[civicrm.compile]/CachedCiviContainer.*.php`) before and after the patch.
(Examples included below.)

Before
------

During every page-load, you need to register event-listeners.  For
subscriber-objects (like `Civi/Api4/Event/Subscriber/**.php`), you get the list
of subscriptions by calling `getSubscribedEvents()`.  Therefore, on every
page-load, you must load/process the subscriber (regardless of whether it will
actually be used) on the chance it that may be needed.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivityPreCreationSubscriber())) && false ?: '_'});
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivitySchemaMapSubscriber())) && false ?: '_'});
        ...
```

Observe that it instantiates `ActivitySchemaMapSubscriber` then passes the instance to `addSubscriber()`.

After
-----

You only need to instantiate service-objects if (a) you are building a fresh container or (b) actually running an event.

This works by calling `getSubscribedEvents()` when building the container.  The
list of events is cached in the container.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...

        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber', ['civi.api.prepare' => 'onApiPrepare']);
        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber', ['api.schema_map.build' => 'onSchemaBuild']);
        ...
```

Observe that it alludes to `ActivityPreCreationSubscriber` symbolically but
does not need an actual instance.

Comments
-----------------

1.  To see that this is equivalent, I used `cv debug:event-dispatcher` before
and after the patch.  This requires an updated version of `cv`, and the
formatting is a little a different, but it does show the same list of
listeners.

2.  There could be some concern like, "What happens if you're upgrading and
have a cached list of subscription events?" Well, note that
`CRM_Api4_Services::hook_container` already puts a cached list of subscribers
in the container.  It also registers the `FileResource`.  Thus, if a file
`Civi/Api4/Event/Subscriber/**.php` changes, it already makes the decision to
recompile based on `filemtime()`.

3. There should already be a lot of test-coverage which hits code-paths for these listeners.
   (If this were generally non-functional, you'd see massive failures.)

4. For `r-run`, I picked an arbitary subscriber (`ActivitySchemaMapSubscriber`), then:

   * At the start of the file, add a statement to log whenever the file is read.
     ```php
     file_put_contents('/tmp/parselog.txt', sprintf("%s: %s: %s\n\n",date('Y-m-d H:i:s'), __FILE__, \CRM_Core_Error::formatBacktrace(debug_backtrace(DEBUG_BACKTRACE_IGNORE_ARGS, 15))), FILE_APPEND);
     ```
   * In a separate window, do a `tail -f /tmp/parselog.txt`.
   * Edit the file to add/remove listeners (like `hook_civicrm_alterContent`)
   * Request some Civi page (`curl 'http://dmaster.127.0.0.1.nip.io:8001/civicrm/admin?reset=1'`). It's not important that it actually runs the full page...
     just that we boot up Civi to look for the page.
   * Alternately repeat the past few steps. Observe thta it only parses the file if there has been a change or if the relevant event(s) actually fire.

(REF) CiviEventDispatcher - Move service-listener stub to standalone class

This change makes it easier for reflective tools (e.g.  `cv
debug:event-dispatcher`) to recognize service-based listeners.

Before: `addListenerServce()` creates a stub for the target service+method.
The stub is an anonymous `function`.

After: `addListenerService()` creates a staub for the target service+method.
The stub is based on invokable class.

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20191 from colemanw/apiSettingsFixes

APIv4 - Setting api misc fixes & tests

Fix enotice when Log service is swapped out

This function is calling a property on the psr_log service that may not exist. If the
service is swapped out there is no reason the replacement should have this property.

Merge pull request #20215 from colemanw/campaignRef

Set html type of campaign fields

APIv4 - Add `readonly` property to settings getFields

APIv4 - Setting api misc fixes & tests

Fixes the setting api to correctly handle pseudoconstants & field suffixes

Set html type of campaign fields

Afform needs to know that these are fields of type EntityRef.
Otherwise, this metadata is currently unused.

Merge pull request #20063 from christianwach/lab-wp-93

Fix PayPal IPN URL and WordPress URLs when Permalinks are set to "Plain"

Merge pull request #20123 from jaapjansma/dev_2505

Fixed dev/core#2505  fix formatting of numbers in civireport

Merge pull request #20188 from eileenmcnaughton/contto

dev/core#2568 Enotice fix + test

Fixed dev/core#2505

Fixed failing test

Fixed issue with wrong parameters in comment section

Improved settings of NumberFormatter

removed unused function

[REF] Move ACLPermission Trait into Civi Folder so that it can be accessed by Extensions

Merge pull request #20156 from colemanw/searchKitExcludeSerializedFromAutoJoins

SearchKit - Exclude serialized fields from implicit join selection