Merge pull request #20484 from agh1/5.38.0-releasenotes-final

5.38.0 release notes: added late changes

5.38.0 release notes: added late changes

Merge pull request #20468 from alifrumin/rn5.38

[NFC] 5.38 Release notes First pass

[NFC] Release notes 5.38 first pass

Merge pull request #20428 from seamuslee001/ckeditor_upgrade

[REF] Upgrade CKEditor to be 4.16.1

[REF] Upgrade CKEditor to be 4.16.1

Merge pull request #20274 from agileware/CIVICRM-1737

Create User Record now hides the Password field and uses the check isUserRegistrationPermitted - which prevents Administrators from setting passwords for new Users

CIVICRM-1737 Create User Record now hides the Password field and uses the check isUserRegistrationPermitted - which prevents Administrators from setting passwords for new Users

Merge pull request #20289 from seamuslee001/5.38

5.37.{1|2} release notes

Add release-notes/5.37.2.md

fixup release-notes/5.37.1.md

Add release-notes/5.37.1.md

Merge pull request #20286 from agh1/5.38.0-releasenotes-initial

5.38.0 release notes initial run

5.38.0 release notes: added boilerplate

5.38.0 release notes: raw from script

Merge pull request #20264 from colemanw/afformJoinSaveFix

Afform - Fix saving joined entities (email, address, phone, etc)

Afform - Fix saving joined entities (email, address, phone, etc)

Merge pull request #20277 from eileenmcnaughton/538

Fix money formatting opps

Fix money formatting opps

As Matt points out we regressed this when adding 2 decimal places

https://github.com/civicrm/civicrm-core/commit/78b338e07464becd1555a2c7d2d04ac0e4e9180c#diff-3d2a990f0b1960f0b3e6671c645e18033883e6d1eaf535b8d19d085b67dde00bR1171

Merge pull request #20256 from eileenmcnaughton/538

dev/core#2601 fix joomla permission regression

Merge pull request #20254 from seamuslee001/fix_d9_install

Make APIv4 Subscribers Public to fix D9 install

dev/core#2601 fix joomla permission regression

This was a change we ultimately decided to, but forgot to, revert. It gave
extensions the ability to modify already-defined-permissons but
was brought out of scope of the change as it required more
consideration that simply adding the new super duper permission

In the meantime it caused a Joomla! regression
https://lab.civicrm.org/dev/core/-/issues/2601

Make APIv4 Subscribers Public to fix D9 install

Set version to 5.38.beta1

Merge pull request #20152 from colemanw/resetLocationProviderHashPrefix

Globally reset angular hashPrefix

(NFC) Add comments about keeping two items sync'd

Merge pull request #20245 from eileenmcnaughton/ft

dev/core#2575 remove / improve indexes

Merge pull request #20244 from eileenmcnaughton/pp

dev/core#2593 [REF] Stop passing membership id into recur notify

dev/core#2575 remove / improve indexes

This removes a couple of indexes on the id field as they duplicate the primary key
as pointed out in https://lab.civicrm.org/dev/core/-/issues/2575

In addition a couple of other indexes are removed as duplicates but the
originals are fixed to be more meaningful. It's important that in a combined
key the field with the lowest cardinality is the first as the combined key is
searched for a complete match so on something like line_item we see the
key is

civicrm_contribution1
civicrm_contribution10
civicrm_contribution1111
civicrm_membership1

In this case there are only 3 possible variants for the first chunk of
characters so we get a much more effective key by reversing them.
(arguably the entity_table actually adds no value due to it's low
cardinality).

The original post
https://civicrm.stackexchange.com/questions/39409/redundant-indexes
also suggests that

is_deleted_sort_name_id duplicates the id index

That is not the case - this query would only ever be
used if is_deleted is a filter. If it IS used then the id
index would NOT be used as only one index is used per table.

However, note that the id part of the filter would only be used if
is_deleted and sort_name were too - so the id part is of little value
as the last parameter & it's likely mysql would chose to use the
primary key instead.

However, I would argue the index as a whole is of little value. The
cardinality of is_deleted is super low and so preceding sort_name
with it is probably inferior to just leaving the
sort_name index to be used. However, this would need testing on
a site with enough data to get results.

On the queue index - it's hard to imagine that having more than the
queue name in the index adds any value at all. However, this is also such a small
table that probably the index has almost no size and the query probably takes
almost no time to run so the time we would spend testing index changes on
this table we would likely never get back.

Note changing these indexes will only affect new sites - or existing sites if they
run the System.updateIndexes api. We do have a ticket open
https://lab.civicrm.org/dev/core/-/issues/2279 with a proposal to
allow sites to define their own indexes which would work in conjunction with the
above api call (since indexes are not 1 size fits all - for example we
have removed indexes on things like contribution_status_id due to
low cardinality). We don't pro-actively run index updates on upgrade
due to not wanting to alter custom index config until 2279 is resolved
and also because some old DBs hit issues that we never diagnosed (and stopped
trying to once we stopped pro-actively notifying them about them)

[REF] Stop passing membership id into recur notify

The membership id resolves to a boolean template parameter of whether a membership is attached to the relevant
recurring record. The classes that call this function do a lot of work
to determine this so it's better to calculate it in-function and
simplify those classes

Merge pull request #20145 from colemanw/afformRouteParams

Afform - Fix loading entities from url args

Merge pull request #20240 from eileenmcnaughton/actnfc

[NFC] Code cleanup, docblocks, strict comparison, type hints

Merge pull request #20237 from eileenmcnaughton/nfc

[NFC] code cleanups in test class

Merge pull request #20233 from eileenmcnaughton/order_tax

Extract sales tax test config to a trait

[NFC] code cleanups

[NFC] Code cleanup, docblocks, strict comparison, type hints

Merge pull request #20125 from colemanw/searchContactRef

SearchKit - Fix updating Entity Ref fields

Merge pull request #20235 from seamuslee001/master

(5.37  merge into master) dev/core#2586 fix failure to null thank you

dev/core#2586 fix failure to null thank you

5.35 regression from this

https://github.com/civicrm/civicrm-core/commit/aa9e580fd8ce5824d627bdaf797a3ccd6732f1a0

Extract sales tax config to a trait

Merge pull request #20232 from totten/merge-master-5.37

Merge forward (5.37 => master)

Merge pull request #20228 from colemanw/afformBlockDefault

Afform - Set default position for contact layout editor

5.37.0.md - Add 20222 and 20227

5.37.0.md - Minor copy-edits

5.37.0 release notes: added late changes

failing test for PR 20222

fix what happens on 3rd iteration

Merge pull request #20221 from totten/master-subscribers

Api4 Services - Lazy-load subscriber-objects

Afform - Set default position for contact layout editor

This makes afform blocks appear in their default positions on the
system default layout in contactlayout 2.0+

It's backward-compatible with earlier versions of the extension

Merge pull request #20199 from kartik1000/altering_recaptcha_form

dev/core#2571: Add form function of utils/Recaptcha has been altered to avoid checking variable "isCaptcha"

Merge pull request #20219 from colemanw/campaignComponent

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20224 from agileware/CIVICRM-1729

Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

Merge pull request #20226 from civicrm/5.37

5.37

Merge pull request #20223 from JMAConsulting/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

CIVICRM-1729 Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

allow event transfer on backend when self-service transfer is disabled

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20150 from MegaphoneJon/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

Merge pull request #20218 from seamuslee001/pear_log_drupal9_fix

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20146 from eileenmcnaughton/log

Fix enotice when Log service is swapped out

Api4 Services - Lazy-load subscriber-objects

This refines the way in which `Civi/Api4/Event/Subscriber/**.php` are loaded.
This makes it safer (from a performance POV) to continue adding more
subscribers/listeners without worrying that it will impact the quantity of
files/classes/opcodes/SLOC loaded in a typical page-view.

A good way to visualize this change is to skim `getDispatcherService()`
(`[civicrm.compile]/CachedCiviContainer.*.php`) before and after the patch.
(Examples included below.)

Before
------

During every page-load, you need to register event-listeners.  For
subscriber-objects (like `Civi/Api4/Event/Subscriber/**.php`), you get the list
of subscriptions by calling `getSubscribedEvents()`.  Therefore, on every
page-load, you must load/process the subscriber (regardless of whether it will
actually be used) on the chance it that may be needed.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivityPreCreationSubscriber())) && false ?: '_'});
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivitySchemaMapSubscriber())) && false ?: '_'});
        ...
```

Observe that it instantiates `ActivitySchemaMapSubscriber` then passes the instance to `addSubscriber()`.

After
-----

You only need to instantiate service-objects if (a) you are building a fresh container or (b) actually running an event.

This works by calling `getSubscribedEvents()` when building the container.  The
list of events is cached in the container.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...

        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber', ['civi.api.prepare' => 'onApiPrepare']);
        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber', ['api.schema_map.build' => 'onSchemaBuild']);
        ...
```

Observe that it alludes to `ActivityPreCreationSubscriber` symbolically but
does not need an actual instance.

Comments
-----------------

1.  To see that this is equivalent, I used `cv debug:event-dispatcher` before
and after the patch.  This requires an updated version of `cv`, and the
formatting is a little a different, but it does show the same list of
listeners.

2.  There could be some concern like, "What happens if you're upgrading and
have a cached list of subscription events?" Well, note that
`CRM_Api4_Services::hook_container` already puts a cached list of subscribers
in the container.  It also registers the `FileResource`.  Thus, if a file
`Civi/Api4/Event/Subscriber/**.php` changes, it already makes the decision to
recompile based on `filemtime()`.

3. There should already be a lot of test-coverage which hits code-paths for these listeners.
   (If this were generally non-functional, you'd see massive failures.)

4. For `r-run`, I picked an arbitary subscriber (`ActivitySchemaMapSubscriber`), then:

   * At the start of the file, add a statement to log whenever the file is read.
     ```php
     file_put_contents('/tmp/parselog.txt', sprintf("%s: %s: %s\n\n",date('Y-m-d H:i:s'), __FILE__, \CRM_Core_Error::formatBacktrace(debug_backtrace(DEBUG_BACKTRACE_IGNORE_ARGS, 15))), FILE_APPEND);
     ```
   * In a separate window, do a `tail -f /tmp/parselog.txt`.
   * Edit the file to add/remove listeners (like `hook_civicrm_alterContent`)
   * Request some Civi page (`curl 'http://dmaster.127.0.0.1.nip.io:8001/civicrm/admin?reset=1'`). It's not important that it actually runs the full page...
     just that we boot up Civi to look for the page.
   * Alternately repeat the past few steps. Observe thta it only parses the file if there has been a change or if the relevant event(s) actually fire.

(REF) CiviEventDispatcher - Move service-listener stub to standalone class

This change makes it easier for reflective tools (e.g.  `cv
debug:event-dispatcher`) to recognize service-based listeners.

Before: `addListenerServce()` creates a stub for the target service+method.
The stub is an anonymous `function`.

After: `addListenerService()` creates a staub for the target service+method.
The stub is based on invokable class.

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20191 from colemanw/apiSettingsFixes

APIv4 - Setting api misc fixes & tests

Fix enotice when Log service is swapped out

This function is calling a property on the psr_log service that may not exist. If the
service is swapped out there is no reason the replacement should have this property.

Merge pull request #20215 from colemanw/campaignRef

Set html type of campaign fields

APIv4 - Add `readonly` property to settings getFields

APIv4 - Setting api misc fixes & tests

Fixes the setting api to correctly handle pseudoconstants & field suffixes

Set html type of campaign fields

Afform needs to know that these are fields of type EntityRef.
Otherwise, this metadata is currently unused.

Merge pull request #20063 from christianwach/lab-wp-93

Fix PayPal IPN URL and WordPress URLs when Permalinks are set to "Plain"

Merge pull request #20123 from jaapjansma/dev_2505

Fixed dev/core#2505  fix formatting of numbers in civireport

Merge pull request #20188 from eileenmcnaughton/contto

dev/core#2568 Enotice fix + test

Fixed dev/core#2505

Fixed failing test

Fixed issue with wrong parameters in comment section

Improved settings of NumberFormatter

removed unused function

Merge pull request #20156 from colemanw/searchKitExcludeSerializedFromAutoJoins

SearchKit - Exclude serialized fields from implicit join selection

Merge pull request #20213 from civicrm/5.37

5.37 to master

Merge pull request #20212 from jitendrapurohit/dev-2583-537

dev/core#2583 - Fix fatal error on membership renewal

fix fatal error on membership renewal

Merge pull request #20153 from eileenmcnaughton/mem

[REF] Cleanup interaction with membership & membership id

Merge pull request #20203 from seamuslee001/dev_core_2582

dev/core#2582 Fix PCP and Pledge template urls in message templates t…

Merge pull request #20207 from seamuslee001/5372

5.37

Merge remote-tracking branch 'origin/5.37' into 5372

dev/core#2582 Fix PCP and Pledge template urls in message templates to go to front end site rather than backend

Merge pull request #20186 from colemanw/searchDisplayPerms

SearchKit - Pass-thu permission checks from SearchDisplay::run to api.get

SearchKit - Pass-thu permission checks from SearchDisplay::run to underlying API

The SearchDisplay::run api action essentially wraps api.get for the search entity,
so it makes sense to allow open access to the run api but require permission checks
on the delegated api call.

Merge pull request #20195 from eileenmcnaughton/537

dev/core#2577 Fix regression - payment edit to new type failing

Merge pull request #20201 from civicrm/5.37

5.37 to master

Merge pull request #20198 from alifrumin/rn5.37

[NFC] Release Notes 5.37

Merge pull request #20200 from jmcclelland/access-ajax-api

fix capitalization to allow proper access to 'access AJAX API' perm.

fix capitalization to allow proper access to 'access AJAX API' perm.

Maybe this is platform dependent? On my dev instance the access AJAX API
permission to the path /civicrm/ajax/api4/X/X is always denied for anon
users because anon users are granted "access AJAX API" yet the check is
done against "access Ajax API".

This only really matters in CRM/Api4/Permission.php but to avoid any
confusion I'm changing it everywhere the string appears.

edited comment and if/else so that it is easier to read

add form function has been altered to avoid checking variable isCaptcha

5.37 release notes - first pass

Merge pull request #20180 from mattwire/recaptchacontribalways

Make reCAPTCHA not conditional on paymentprocessor on contribution page

Merge pull request #20194 from eileenmcnaughton/tok

[REF] Minor tidy up

If reCAPTCHA is enabled on contribution page always display (even if we don't have a paymentprocessor)

Merge pull request #20187 from eileenmcnaughton/dom

Make send letter function available to searchkit, individual contributions

Merge pull request #20193 from kartik1000/5.37

dev/core#2571: Removed Forced Recaptcha function as it called only once

Merge pull request #20192 from colemanw/deprecateAclCheck

Add deprected warning to apparently unused functions

dev/core#2577 Fix regression - payment edit to new type failing

Changes made in ref to master