5.37.0.md - Add 20222 and 20227

5.37.0.md - Minor copy-edits

5.37.0 release notes: added late changes

failing test for PR 20222

fix what happens on 3rd iteration

Merge pull request #20221 from totten/master-subscribers

Api4 Services - Lazy-load subscriber-objects

Merge pull request #20199 from kartik1000/altering_recaptcha_form

dev/core#2571: Add form function of utils/Recaptcha has been altered to avoid checking variable "isCaptcha"

Merge pull request #20219 from colemanw/campaignComponent

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20224 from agileware/CIVICRM-1729

Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

Merge pull request #20226 from civicrm/5.37

5.37

Merge pull request #20223 from JMAConsulting/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

CIVICRM-1729 Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

allow event transfer on backend when self-service transfer is disabled

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20150 from MegaphoneJon/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

Merge pull request #20218 from seamuslee001/pear_log_drupal9_fix

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20146 from eileenmcnaughton/log

Fix enotice when Log service is swapped out

Api4 Services - Lazy-load subscriber-objects

This refines the way in which `Civi/Api4/Event/Subscriber/**.php` are loaded.
This makes it safer (from a performance POV) to continue adding more
subscribers/listeners without worrying that it will impact the quantity of
files/classes/opcodes/SLOC loaded in a typical page-view.

A good way to visualize this change is to skim `getDispatcherService()`
(`[civicrm.compile]/CachedCiviContainer.*.php`) before and after the patch.
(Examples included below.)

Before
------

During every page-load, you need to register event-listeners.  For
subscriber-objects (like `Civi/Api4/Event/Subscriber/**.php`), you get the list
of subscriptions by calling `getSubscribedEvents()`.  Therefore, on every
page-load, you must load/process the subscriber (regardless of whether it will
actually be used) on the chance it that may be needed.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivityPreCreationSubscriber())) && false ?: '_'});
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivitySchemaMapSubscriber())) && false ?: '_'});
        ...
```

Observe that it instantiates `ActivitySchemaMapSubscriber` then passes the instance to `addSubscriber()`.

After
-----

You only need to instantiate service-objects if (a) you are building a fresh container or (b) actually running an event.

This works by calling `getSubscribedEvents()` when building the container.  The
list of events is cached in the container.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...

        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber', ['civi.api.prepare' => 'onApiPrepare']);
        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber', ['api.schema_map.build' => 'onSchemaBuild']);
        ...
```

Observe that it alludes to `ActivityPreCreationSubscriber` symbolically but
does not need an actual instance.

Comments
-----------------

1.  To see that this is equivalent, I used `cv debug:event-dispatcher` before
and after the patch.  This requires an updated version of `cv`, and the
formatting is a little a different, but it does show the same list of
listeners.

2.  There could be some concern like, "What happens if you're upgrading and
have a cached list of subscription events?" Well, note that
`CRM_Api4_Services::hook_container` already puts a cached list of subscribers
in the container.  It also registers the `FileResource`.  Thus, if a file
`Civi/Api4/Event/Subscriber/**.php` changes, it already makes the decision to
recompile based on `filemtime()`.

3. There should already be a lot of test-coverage which hits code-paths for these listeners.
   (If this were generally non-functional, you'd see massive failures.)

4. For `r-run`, I picked an arbitary subscriber (`ActivitySchemaMapSubscriber`), then:

   * At the start of the file, add a statement to log whenever the file is read.
     ```php
     file_put_contents('/tmp/parselog.txt', sprintf("%s: %s: %s\n\n",date('Y-m-d H:i:s'), __FILE__, \CRM_Core_Error::formatBacktrace(debug_backtrace(DEBUG_BACKTRACE_IGNORE_ARGS, 15))), FILE_APPEND);
     ```
   * In a separate window, do a `tail -f /tmp/parselog.txt`.
   * Edit the file to add/remove listeners (like `hook_civicrm_alterContent`)
   * Request some Civi page (`curl 'http://dmaster.127.0.0.1.nip.io:8001/civicrm/admin?reset=1'`). It's not important that it actually runs the full page...
     just that we boot up Civi to look for the page.
   * Alternately repeat the past few steps. Observe thta it only parses the file if there has been a change or if the relevant event(s) actually fire.

(REF) CiviEventDispatcher - Move service-listener stub to standalone class

This change makes it easier for reflective tools (e.g.  `cv
debug:event-dispatcher`) to recognize service-based listeners.

Before: `addListenerServce()` creates a stub for the target service+method.
The stub is an anonymous `function`.

After: `addListenerService()` creates a staub for the target service+method.
The stub is based on invokable class.

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20191 from colemanw/apiSettingsFixes

APIv4 - Setting api misc fixes & tests

Fix enotice when Log service is swapped out

This function is calling a property on the psr_log service that may not exist. If the
service is swapped out there is no reason the replacement should have this property.

Merge pull request #20215 from colemanw/campaignRef

Set html type of campaign fields

APIv4 - Add `readonly` property to settings getFields

APIv4 - Setting api misc fixes & tests

Fixes the setting api to correctly handle pseudoconstants & field suffixes

Set html type of campaign fields

Afform needs to know that these are fields of type EntityRef.
Otherwise, this metadata is currently unused.

Merge pull request #20063 from christianwach/lab-wp-93

Fix PayPal IPN URL and WordPress URLs when Permalinks are set to "Plain"

Merge pull request #20123 from jaapjansma/dev_2505

Fixed dev/core#2505  fix formatting of numbers in civireport

Merge pull request #20188 from eileenmcnaughton/contto

dev/core#2568 Enotice fix + test

Fixed dev/core#2505

Fixed failing test

Fixed issue with wrong parameters in comment section

Improved settings of NumberFormatter

removed unused function

Merge pull request #20156 from colemanw/searchKitExcludeSerializedFromAutoJoins

SearchKit - Exclude serialized fields from implicit join selection

Merge pull request #20213 from civicrm/5.37

5.37 to master

Merge pull request #20212 from jitendrapurohit/dev-2583-537

dev/core#2583 - Fix fatal error on membership renewal

fix fatal error on membership renewal

Merge pull request #20153 from eileenmcnaughton/mem

[REF] Cleanup interaction with membership & membership id

Merge pull request #20203 from seamuslee001/dev_core_2582

dev/core#2582 Fix PCP and Pledge template urls in message templates t…

Merge pull request #20207 from seamuslee001/5372

5.37

Merge remote-tracking branch 'origin/5.37' into 5372

dev/core#2582 Fix PCP and Pledge template urls in message templates to go to front end site rather than backend

Merge pull request #20186 from colemanw/searchDisplayPerms

SearchKit - Pass-thu permission checks from SearchDisplay::run to api.get

SearchKit - Pass-thu permission checks from SearchDisplay::run to underlying API

The SearchDisplay::run api action essentially wraps api.get for the search entity,
so it makes sense to allow open access to the run api but require permission checks
on the delegated api call.

Merge pull request #20195 from eileenmcnaughton/537

dev/core#2577 Fix regression - payment edit to new type failing

Merge pull request #20201 from civicrm/5.37

5.37 to master

Merge pull request #20198 from alifrumin/rn5.37

[NFC] Release Notes 5.37

Merge pull request #20200 from jmcclelland/access-ajax-api

fix capitalization to allow proper access to 'access AJAX API' perm.

fix capitalization to allow proper access to 'access AJAX API' perm.

Maybe this is platform dependent? On my dev instance the access AJAX API
permission to the path /civicrm/ajax/api4/X/X is always denied for anon
users because anon users are granted "access AJAX API" yet the check is
done against "access Ajax API".

This only really matters in CRM/Api4/Permission.php but to avoid any
confusion I'm changing it everywhere the string appears.

edited comment and if/else so that it is easier to read

add form function has been altered to avoid checking variable isCaptcha

5.37 release notes - first pass

Merge pull request #20180 from mattwire/recaptchacontribalways

Make reCAPTCHA not conditional on paymentprocessor on contribution page

Merge pull request #20194 from eileenmcnaughton/tok

[REF] Minor tidy up

If reCAPTCHA is enabled on contribution page always display (even if we don't have a paymentprocessor)

Merge pull request #20187 from eileenmcnaughton/dom

Make send letter function available to searchkit, individual contributions

Merge pull request #20193 from kartik1000/5.37

dev/core#2571: Removed Forced Recaptcha function as it called only once

Merge pull request #20192 from colemanw/deprecateAclCheck

Add deprected warning to apparently unused functions

dev/core#2577 Fix regression - payment edit to new type failing

Changes made in ref to master

[REF] Minor tidy up

This just removes some unused params & gets rid of the & before the function (it isn't called
in any weird ways and we have removed these before)

Add deprected warning to apparently unused functions

It looks like one check function is only ever called by the other,
and the other isn't called from anywhere.

What these functions are supposed to do is unclear.
The code comment appears to be wrong; the variable $str
is not a permission string but is inserted into a query
as civicrm_acl.object_table.

dev/core#2568 Enotice fix + test

Same as https://github.com/civicrm/civicrm-core/pull/20178 but with a test
(and a couple of changes to support that)

Merge pull request #20138 from eileenmcnaughton/load

[REF] Remove redundant code

Merge pull request #20185 from civicrm/5.37

5.37

Make send letter function available to searchkit, individual contributions

Merge pull request #20174 from demeritcowboy/api-caseactivity-perm

dev/core#2573 - Set appropriate default permissions to use api4 CaseActivity

Merge pull request #20181 from colemanw/anotherOneBitesTheDust

APIv4 - Remove unnecessary custom getActions class

Merge pull request #20183 from ufundo/patch-1

add me

add me

for first merged PR as requested by @demeritcowboy :)

Merge pull request #20162 from lemniscus/oauth-client

oauth-client - Add test for existing Auth Code flow behavior

Merge pull request #20182 from mattwire/sendconfirmationreturn

Contribution.sendconfirmation API3 function should return

API functions should return otherwise you get 'cannot interpret return values from function'

APIv4 - Remove unnecessary custom getActions class

The class override was not needed; the generic function works fine with custom entities.

Merge pull request #20147 from seamuslee001/afform_redirect_html

dev/core#2569 Add in Redirect field into the html afform editor

Merge pull request #20175 from eileenmcnaughton/nfc

[REF] Minor code cleanup

Merge pull request #20172 from eileenmcnaughton/pdf

[REF] Complete decommissioning of CRM/Contribute/Form/Task/PDFLetterCommon.php

Merge pull request #20070 from larssandergreen/Clarify-event-scheduled-reminder-options

dev/core#2541 Clarify scheduled reminder options: Event Start Date -> Event Start, etc

Merge pull request #20092 from larssandergreen/fix-is-recur-label

dev/core#1452 Put text inside label tags for recurring contribution selection

Merge pull request #20176 from civicrm/5.37

5.37 to master

Merge pull request #20158 from jitendrapurohit/pricefieldfix

Fix priceset widget on Membership tab

[REF] Minor code cleanup

Minor code cleanups - use strict, declare exceptions, use use statement

Merge pull request #20173 from colemanw/noCustomReplace

APIv4 - Remove unnecessary class override (handled by generic)

Merge pull request #20161 from eileenmcnaughton/single

Remove apparent copy & paste from Contribution pdf letter function

without this you need administer CiviCRM permission to use api4 CaseActivity

[REF] Complete decommissioning on CRM/Contribute/Form/Task/PDFLetterCommon.php

This removes the last function fromCRM/Contribute/Form/Task/PDFLetterCommon.php

The function was calling a protected function on the parent which had to be unravelled.

I used the method we used in
https://github.com/civicrm/civicrm-core/blob/5e67eb7ff3f1f202d5112d15ad5c6a5f23f35795/CRM/SMS/Form/Upload.php#L341
to replace the code with the part that we have tested as being done in via render - ie replacing
hook, contact, domain tokens & smarty parsing.

However, there are quite a few tests on this code & one checked that we don't over-call
the token hook. I added some caching for the results of this hook so we can start to
eliminate these but I also allowed the calls to increment by 1 because it is not 1 per row

I made the results of this hook optional to replaceHookTokens & in general I think that
is the only place it needs to be called - perhaps once it used to pass more parameters &
the results were dynamic but now they really aren't

APIv4 - Remove unnecessary class override (handled by generic)

Remove apparent copy & paste from Contribution pdf letter function

I have done a bit of digging and I can't see any way these url parameters could be passed in
to this form. I also can't think of any reason, other than our old friend copy
& paste, for us to be retrieving activity or case in the url

I kept the isSingle logic but redirected it to focus on a single contribution which
is something we do want

Merge pull request #20171 from eileenmcnaughton/actsh

[REF] Add strict types to Utils_Mail::Send

Merge pull request #20166 from mattwire/recaptchacontributionbase

Simplify reCAPTCHA on ContributionBase form

Merge pull request #20167 from mattwire/recaptchaclean

REF Cleanup ReCAPTCHA code

[REF] Add strict types to Utils_Mail::Send

The function only returns a bool - this makes that explicit / forced and also removes handling for it
to return a PEAR_Error in one place that calls it. A couple of unused params are removed

Merge pull request #20160 from eileenmcnaughton/pdf

[REF] Post move cleanup - switch from $form to $this

Merge pull request #20169 from ixiam/dev_issue#2574

Fixes issue with state/province & country not translating values

Merge pull request #20164 from mattwire/recaptcharegistrationbuildcustom

REF reCAPTCHA Simplify buildCustom function on Registration form

[REF] Post move cleanup - switch from form to this

Cleanup ReCAPTCHA code

Fixes issue with state/province & country not translating values

Merge pull request #20165 from mattwire/recaptchasignaturebuildcustom

REF reCAPTCHA Simplify buildCustom function on Signature form

Remove warning about reCaptcha missing key from contribution page

Use CRM_Utils_ReCAPTCHA::enableCaptchaOnForm directly in ContributionBase

viewOnly parameter is not used in buildCustom for Signature

viewOnly parameter is not used in buildCustom for Registration