Merge pull request #20152 from colemanw/resetLocationProviderHashPrefix

Globally reset angular hashPrefix

(NFC) Add comments about keeping two items sync'd

Merge pull request #20245 from eileenmcnaughton/ft

dev/core#2575 remove / improve indexes

Merge pull request #20244 from eileenmcnaughton/pp

dev/core#2593 [REF] Stop passing membership id into recur notify

dev/core#2575 remove / improve indexes

This removes a couple of indexes on the id field as they duplicate the primary key
as pointed out in https://lab.civicrm.org/dev/core/-/issues/2575

In addition a couple of other indexes are removed as duplicates but the
originals are fixed to be more meaningful. It's important that in a combined
key the field with the lowest cardinality is the first as the combined key is
searched for a complete match so on something like line_item we see the
key is

civicrm_contribution1
civicrm_contribution10
civicrm_contribution1111
civicrm_membership1

In this case there are only 3 possible variants for the first chunk of
characters so we get a much more effective key by reversing them.
(arguably the entity_table actually adds no value due to it's low
cardinality).

The original post
https://civicrm.stackexchange.com/questions/39409/redundant-indexes
also suggests that

is_deleted_sort_name_id duplicates the id index

That is not the case - this query would only ever be
used if is_deleted is a filter. If it IS used then the id
index would NOT be used as only one index is used per table.

However, note that the id part of the filter would only be used if
is_deleted and sort_name were too - so the id part is of little value
as the last parameter & it's likely mysql would chose to use the
primary key instead.

However, I would argue the index as a whole is of little value. The
cardinality of is_deleted is super low and so preceding sort_name
with it is probably inferior to just leaving the
sort_name index to be used. However, this would need testing on
a site with enough data to get results.

On the queue index - it's hard to imagine that having more than the
queue name in the index adds any value at all. However, this is also such a small
table that probably the index has almost no size and the query probably takes
almost no time to run so the time we would spend testing index changes on
this table we would likely never get back.

Note changing these indexes will only affect new sites - or existing sites if they
run the System.updateIndexes api. We do have a ticket open
https://lab.civicrm.org/dev/core/-/issues/2279 with a proposal to
allow sites to define their own indexes which would work in conjunction with the
above api call (since indexes are not 1 size fits all - for example we
have removed indexes on things like contribution_status_id due to
low cardinality). We don't pro-actively run index updates on upgrade
due to not wanting to alter custom index config until 2279 is resolved
and also because some old DBs hit issues that we never diagnosed (and stopped
trying to once we stopped pro-actively notifying them about them)

[REF] Stop passing membership id into recur notify

The membership id resolves to a boolean template parameter of whether a membership is attached to the relevant
recurring record. The classes that call this function do a lot of work
to determine this so it's better to calculate it in-function and
simplify those classes

Merge pull request #20145 from colemanw/afformRouteParams

Afform - Fix loading entities from url args

Merge pull request #20240 from eileenmcnaughton/actnfc

[NFC] Code cleanup, docblocks, strict comparison, type hints

Merge pull request #20237 from eileenmcnaughton/nfc

[NFC] code cleanups in test class

Merge pull request #20233 from eileenmcnaughton/order_tax

Extract sales tax test config to a trait

[NFC] code cleanups

[NFC] Code cleanup, docblocks, strict comparison, type hints

Merge pull request #20125 from colemanw/searchContactRef

SearchKit - Fix updating Entity Ref fields

Merge pull request #20235 from seamuslee001/master

(5.37  merge into master) dev/core#2586 fix failure to null thank you

dev/core#2586 fix failure to null thank you

5.35 regression from this

https://github.com/civicrm/civicrm-core/commit/aa9e580fd8ce5824d627bdaf797a3ccd6732f1a0

Extract sales tax config to a trait

Merge pull request #20232 from totten/merge-master-5.37

Merge forward (5.37 => master)

Merge pull request #20228 from colemanw/afformBlockDefault

Afform - Set default position for contact layout editor

5.37.0.md - Add 20222 and 20227

5.37.0.md - Minor copy-edits

5.37.0 release notes: added late changes

failing test for PR 20222

fix what happens on 3rd iteration

Merge pull request #20221 from totten/master-subscribers

Api4 Services - Lazy-load subscriber-objects

Afform - Set default position for contact layout editor

This makes afform blocks appear in their default positions on the
system default layout in contactlayout 2.0+

It's backward-compatible with earlier versions of the extension

Merge pull request #20199 from kartik1000/altering_recaptcha_form

dev/core#2571: Add form function of utils/Recaptcha has been altered to avoid checking variable "isCaptcha"

Merge pull request #20219 from colemanw/campaignComponent

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20224 from agileware/CIVICRM-1729

Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

Merge pull request #20226 from civicrm/5.37

5.37

Merge pull request #20223 from JMAConsulting/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

CIVICRM-1729 Set the smarty variables for mem_status and mem_join_date for back-end membership renewals

allow event transfer on backend when self-service transfer is disabled

APIv4 - Don't show campaign_id in getFields if campaign component disabled

Merge pull request #20150 from MegaphoneJon/backoffice-xfer

allow event transfer on backend when self-service transfer is disabled

Merge pull request #20218 from seamuslee001/pear_log_drupal9_fix

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20146 from eileenmcnaughton/log

Fix enotice when Log service is swapped out

Api4 Services - Lazy-load subscriber-objects

This refines the way in which `Civi/Api4/Event/Subscriber/**.php` are loaded.
This makes it safer (from a performance POV) to continue adding more
subscribers/listeners without worrying that it will impact the quantity of
files/classes/opcodes/SLOC loaded in a typical page-view.

A good way to visualize this change is to skim `getDispatcherService()`
(`[civicrm.compile]/CachedCiviContainer.*.php`) before and after the patch.
(Examples included below.)

Before
------

During every page-load, you need to register event-listeners.  For
subscriber-objects (like `Civi/Api4/Event/Subscriber/**.php`), you get the list
of subscriptions by calling `getSubscribedEvents()`.  Therefore, on every
page-load, you must load/process the subscriber (regardless of whether it will
actually be used) on the chance it that may be needed.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivityPreCreationSubscriber())) && false ?: '_'});
        $instance->addSubscriber(${($_ = isset($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber']) ? $this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] : ($this->services['Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber'] = new \Civi\Api4\Event\Subscriber\ActivitySchemaMapSubscriber())) && false ?: '_'});
        ...
```

Observe that it instantiates `ActivitySchemaMapSubscriber` then passes the instance to `addSubscriber()`.

After
-----

You only need to instantiate service-objects if (a) you are building a fresh container or (b) actually running an event.

This works by calling `getSubscribedEvents()` when building the container.  The
list of events is cached in the container.

In `CachedCiviContainer.*.php`, you will see snippets like:

```php
    protected function getDispatcherService()
    {
        ...

        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivityPreCreationSubscriber', ['civi.api.prepare' => 'onApiPrepare']);
        $instance->addSubscriberServiceMap('Civi_Api4_Event_Subscriber_ActivitySchemaMapSubscriber', ['api.schema_map.build' => 'onSchemaBuild']);
        ...
```

Observe that it alludes to `ActivityPreCreationSubscriber` symbolically but
does not need an actual instance.

Comments
-----------------

1.  To see that this is equivalent, I used `cv debug:event-dispatcher` before
and after the patch.  This requires an updated version of `cv`, and the
formatting is a little a different, but it does show the same list of
listeners.

2.  There could be some concern like, "What happens if you're upgrading and
have a cached list of subscription events?" Well, note that
`CRM_Api4_Services::hook_container` already puts a cached list of subscribers
in the container.  It also registers the `FileResource`.  Thus, if a file
`Civi/Api4/Event/Subscriber/**.php` changes, it already makes the decision to
recompile based on `filemtime()`.

3. There should already be a lot of test-coverage which hits code-paths for these listeners.
   (If this were generally non-functional, you'd see massive failures.)

4. For `r-run`, I picked an arbitary subscriber (`ActivitySchemaMapSubscriber`), then:

   * At the start of the file, add a statement to log whenever the file is read.
     ```php
     file_put_contents('/tmp/parselog.txt', sprintf("%s: %s: %s\n\n",date('Y-m-d H:i:s'), __FILE__, \CRM_Core_Error::formatBacktrace(debug_backtrace(DEBUG_BACKTRACE_IGNORE_ARGS, 15))), FILE_APPEND);
     ```
   * In a separate window, do a `tail -f /tmp/parselog.txt`.
   * Edit the file to add/remove listeners (like `hook_civicrm_alterContent`)
   * Request some Civi page (`curl 'http://dmaster.127.0.0.1.nip.io:8001/civicrm/admin?reset=1'`). It's not important that it actually runs the full page...
     just that we boot up Civi to look for the page.
   * Alternately repeat the past few steps. Observe thta it only parses the file if there has been a change or if the relevant event(s) actually fire.

(REF) CiviEventDispatcher - Move service-listener stub to standalone class

This change makes it easier for reflective tools (e.g.  `cv
debug:event-dispatcher`) to recognize service-based listeners.

Before: `addListenerServce()` creates a stub for the target service+method.
The stub is an anonymous `function`.

After: `addListenerService()` creates a staub for the target service+method.
The stub is based on invokable class.

REF Update Pear/log to fix issues with install CiviCRM on Drupal 9.2

Merge pull request #20191 from colemanw/apiSettingsFixes

APIv4 - Setting api misc fixes & tests

Fix enotice when Log service is swapped out

This function is calling a property on the psr_log service that may not exist. If the
service is swapped out there is no reason the replacement should have this property.

Merge pull request #20215 from colemanw/campaignRef

Set html type of campaign fields

APIv4 - Add `readonly` property to settings getFields

APIv4 - Setting api misc fixes & tests

Fixes the setting api to correctly handle pseudoconstants & field suffixes

Set html type of campaign fields

Afform needs to know that these are fields of type EntityRef.
Otherwise, this metadata is currently unused.

Merge pull request #20063 from christianwach/lab-wp-93

Fix PayPal IPN URL and WordPress URLs when Permalinks are set to "Plain"

Merge pull request #20123 from jaapjansma/dev_2505

Fixed dev/core#2505  fix formatting of numbers in civireport

Merge pull request #20188 from eileenmcnaughton/contto

dev/core#2568 Enotice fix + test

Fixed dev/core#2505

Fixed failing test

Fixed issue with wrong parameters in comment section

Improved settings of NumberFormatter

removed unused function

Merge pull request #20156 from colemanw/searchKitExcludeSerializedFromAutoJoins

SearchKit - Exclude serialized fields from implicit join selection

Merge pull request #20213 from civicrm/5.37

5.37 to master

Merge pull request #20212 from jitendrapurohit/dev-2583-537

dev/core#2583 - Fix fatal error on membership renewal

fix fatal error on membership renewal

Merge pull request #20153 from eileenmcnaughton/mem

[REF] Cleanup interaction with membership & membership id

Merge pull request #20203 from seamuslee001/dev_core_2582

dev/core#2582 Fix PCP and Pledge template urls in message templates t…

Merge pull request #20207 from seamuslee001/5372

5.37

Merge remote-tracking branch 'origin/5.37' into 5372

dev/core#2582 Fix PCP and Pledge template urls in message templates to go to front end site rather than backend

Merge pull request #20186 from colemanw/searchDisplayPerms

SearchKit - Pass-thu permission checks from SearchDisplay::run to api.get

SearchKit - Pass-thu permission checks from SearchDisplay::run to underlying API

The SearchDisplay::run api action essentially wraps api.get for the search entity,
so it makes sense to allow open access to the run api but require permission checks
on the delegated api call.

Merge pull request #20195 from eileenmcnaughton/537

dev/core#2577 Fix regression - payment edit to new type failing

Merge pull request #20201 from civicrm/5.37

5.37 to master

Merge pull request #20198 from alifrumin/rn5.37

[NFC] Release Notes 5.37

Merge pull request #20200 from jmcclelland/access-ajax-api

fix capitalization to allow proper access to 'access AJAX API' perm.

fix capitalization to allow proper access to 'access AJAX API' perm.

Maybe this is platform dependent? On my dev instance the access AJAX API
permission to the path /civicrm/ajax/api4/X/X is always denied for anon
users because anon users are granted "access AJAX API" yet the check is
done against "access Ajax API".

This only really matters in CRM/Api4/Permission.php but to avoid any
confusion I'm changing it everywhere the string appears.

edited comment and if/else so that it is easier to read

add form function has been altered to avoid checking variable isCaptcha

5.37 release notes - first pass

Merge pull request #20180 from mattwire/recaptchacontribalways

Make reCAPTCHA not conditional on paymentprocessor on contribution page

Merge pull request #20194 from eileenmcnaughton/tok

[REF] Minor tidy up

If reCAPTCHA is enabled on contribution page always display (even if we don't have a paymentprocessor)

Merge pull request #20187 from eileenmcnaughton/dom

Make send letter function available to searchkit, individual contributions

Merge pull request #20193 from kartik1000/5.37

dev/core#2571: Removed Forced Recaptcha function as it called only once

Merge pull request #20192 from colemanw/deprecateAclCheck

Add deprected warning to apparently unused functions

dev/core#2577 Fix regression - payment edit to new type failing

Changes made in ref to master

[REF] Minor tidy up

This just removes some unused params & gets rid of the & before the function (it isn't called
in any weird ways and we have removed these before)

Add deprected warning to apparently unused functions

It looks like one check function is only ever called by the other,
and the other isn't called from anywhere.

What these functions are supposed to do is unclear.
The code comment appears to be wrong; the variable $str
is not a permission string but is inserted into a query
as civicrm_acl.object_table.

dev/core#2568 Enotice fix + test

Same as https://github.com/civicrm/civicrm-core/pull/20178 but with a test
(and a couple of changes to support that)

Merge pull request #20138 from eileenmcnaughton/load

[REF] Remove redundant code

Merge pull request #20185 from civicrm/5.37

5.37

Make send letter function available to searchkit, individual contributions

Merge pull request #20174 from demeritcowboy/api-caseactivity-perm

dev/core#2573 - Set appropriate default permissions to use api4 CaseActivity

Merge pull request #20181 from colemanw/anotherOneBitesTheDust

APIv4 - Remove unnecessary custom getActions class

Merge pull request #20183 from ufundo/patch-1

add me

add me

for first merged PR as requested by @demeritcowboy :)

Merge pull request #20162 from lemniscus/oauth-client

oauth-client - Add test for existing Auth Code flow behavior

Merge pull request #20182 from mattwire/sendconfirmationreturn

Contribution.sendconfirmation API3 function should return

API functions should return otherwise you get 'cannot interpret return values from function'

APIv4 - Remove unnecessary custom getActions class

The class override was not needed; the generic function works fine with custom entities.

Merge pull request #20147 from seamuslee001/afform_redirect_html

dev/core#2569 Add in Redirect field into the html afform editor

Merge pull request #20175 from eileenmcnaughton/nfc

[REF] Minor code cleanup

Merge pull request #20172 from eileenmcnaughton/pdf

[REF] Complete decommissioning of CRM/Contribute/Form/Task/PDFLetterCommon.php

Merge pull request #20070 from larssandergreen/Clarify-event-scheduled-reminder-options

dev/core#2541 Clarify scheduled reminder options: Event Start Date -> Event Start, etc

Merge pull request #20092 from larssandergreen/fix-is-recur-label

dev/core#1452 Put text inside label tags for recurring contribution selection

Merge pull request #20176 from civicrm/5.37

5.37 to master

Merge pull request #20158 from jitendrapurohit/pricefieldfix

Fix priceset widget on Membership tab

[REF] Minor code cleanup

Minor code cleanups - use strict, declare exceptions, use use statement

Merge pull request #20173 from colemanw/noCustomReplace

APIv4 - Remove unnecessary class override (handled by generic)

Merge pull request #20161 from eileenmcnaughton/single

Remove apparent copy & paste from Contribution pdf letter function