Cleanup tracking on group.load

1) deprecate force parameter
2) ditch the static & let the db lookups speak for themselves

The force paramter seems to mostly be about the static & probably only exists to support tests.
The static doesn't make sense now because either they group needs loading or it doesn't.
The fact the process might have tried and succeeded or failed before doesn't need
to be recorded in the static

Cleanup up progress tracking in Group::load

Fix test to do things in a logical order so contacts exist when the group is created

Merge pull request #20312 from seamuslee001/improve_sample_data_trxn_id_payment_procesor_link

Improve Sample data by ensuring all Credit Card Contributions have a …

Merge pull request #20304 from eileenmcnaughton/mem_move2

Remove never-passed parameter from now unshared function

Improve Sample data by ensuring all Credit Card Contributions have a transaction id and tha they are shown to be linked to the test payment processor

Merge pull request #20311 from demeritcowboy/dummy

dev/core#2614 - Sample payment processor is the wrong id in the generated sample data for demos

the id keeps changing so look it up by name

Merge pull request #20082 from mattwire/paypalwarning

Add warning when url_site is not specified for paypal (it won't work if not set)

Merge pull request #20139 from eileenmcnaughton/home_url

Remove defunct default return property

Merge pull request #20216 from colemanw/afformEntityRef

Afform Gui - Add support for entityRef fields

Remove never-passed parameter from now unshared parameter

Merge pull request #20299 from eileenmcnaughton/pp

Remove now-unused ids parameter from signature

[REF] Add getters for contribution id & contact id

Remove now-unused ids parameter from signature

Merge pull request #20293 from eileenmcnaughton/pp

[REF] Use function to getContributionRecurID

Merge pull request #20295 from eileenmcnaughton/mem_move

[REF] Duplicate processMembership preliminary to cleanup

[REF] Use function to getContributionRecurID

We are simply fetching it from the POST so it's cheap to fetch & we can stop passing it around
once we are using a function, not a variable. This also changes the debug logging slightly
to pass the values more correctly to log->debug().

[REF] Duplicate processMembership preliminary to cleanup

This used to be shared by 3 places. We've copied & cleaned up one. This duplicates to the
second once I've done some cleaning up I'll deprecate this & also duplicate to the 3rd

Merge pull request #20287 from mattwire/contactreportaclduplicates

Switch to non deprecated buildPermissionClause() for contact summary report

Merge pull request #20288 from demeritcowboy/fintypeaccount

[NFC/TEST] - Add unit test enforcing automatic chaining for financial type/account creation via api

Merge pull request #20290 from civicrm/5.38

5.38

Merge pull request #20246 from eileenmcnaughton/ft

dev/core#2593 [REF] Fix function signature to actually-used variables

Switch to non deprecated buildPermissionClause() for contact summary report

Merge pull request #20289 from seamuslee001/5.38

5.37.{1|2} release notes

Add release-notes/5.37.2.md

fixup release-notes/5.37.1.md

Add release-notes/5.37.1.md

Merge pull request #20286 from agh1/5.38.0-releasenotes-initial

5.38.0 release notes initial run

add test enforcing automatic chaining for financial type/account create

5.38.0 release notes: added boilerplate

5.38.0 release notes: raw from script

Merge pull request #20077 from eileenmcnaughton/mem_order

Use order api when creating a recurring membership from the Membershi…

Merge pull request #20259 from agileware/CIVICRM-1734

Change the help text for Message Templates and Scheduled Reminders to include link to CiviCRM Token Documentation page

Afform Gui - Add support for entityRef fields

Adds a widget for EntityRef and allows it to be changed to Number (for entering ID)
or Select (for choosing another entity on a form).

Merge pull request #20284 from civicrm/5.38

5.38

Merge pull request #20264 from colemanw/afformJoinSaveFix

Afform - Fix saving joined entities (email, address, phone, etc)

Merge pull request #20283 from colemanw/afformEnabledEntities

Afform - hide disabled contact types & entities from disabled components/extensions

Afform - hide disabled contact types & entities from disabled components/extensions

Merge pull request #20280 from civicrm/5.38

5.38

Afform - Fix saving joined entities (email, address, phone, etc)

Merge pull request #20276 from demeritcowboy/help-pre

Typo when retrieving help_pre textarea attributes for price field

Merge pull request #20208 from seamuslee001/move_acl_test_trait

[REF] Move ACLPermission Trait into Civi Folder so that it can be acc…

Merge pull request #20277 from eileenmcnaughton/538

Fix money formatting opps

Merge pull request #20275 from demeritcowboy/big-c

dev/core#2606 - Typo in rowCount variable in pager

Fix money formatting opps

As Matt points out we regressed this when adding 2 decimal places

https://github.com/civicrm/civicrm-core/commit/78b338e07464becd1555a2c7d2d04ac0e4e9180c#diff-3d2a990f0b1960f0b3e6671c645e18033883e6d1eaf535b8d19d085b67dde00bR1171

letter needs to be bigger

ancient latin

Merge pull request #20270 from demeritcowboy/relative

dev/core#2590 - Remove unused function CRM_Utils_File::relativeDirectory

Merge pull request #20263 from colemanw/afformDragFix

Afform - Drag & drop fixes

Merge pull request #20271 from totten/5.38ormaster-perm-cleanup

(REF) dev/core#2601 - Cleanup stale parameter

Merge pull request #20258 from eileenmcnaughton/tear

[NFC] Test - Improve tearDown cleanup of domain contacts

Improve tearDown cleanup of domain contacts

    Fixes to ensure the domain contacts from addresses are re-instated

Merge pull request #18969 from seamuslee001/dev_core_2187

dev/core#2187 Allow sites to customise the default number of rows ret…

(REF) dev/core#2601 - Cleanup stale parameter

Overview
--------

This cleans up a parameter that became unused/unnecessary in #20256.

History
-------

This revision is a little bouncy. Instead of before/after, here's a history:

* `<= v5.36`: `getAllModulePermissions($descriptions = FALSE)`
* `=  v5.37.0`: `getAllModulePermissions($descriptions = FALSE, &$permissions)`
* `>= v.37.1`: `getAllModulePermissions($descriptions = FALSE)`

I grepped `universe` to confirm that no other repos were using the intermediate signature.

dev/core#2187 Allow sites to customsie the default number of rows returned from QuickForm Searches

unused function

Merge pull request #20204 from eileenmcnaughton/freeze

Freeze readonly fields

Merge pull request #20260 from agileware/CIVICRM-1733

CiviCRM Scheduled Reminders, Subject field missing Token selector - users must copy Token from Body field to Subject

CIVICRM-1734 Change the help text for Message Templates and Scheduled Reminders to include link to CiviCRM Token Documentation page

Merge pull request #20265 from mattwire/api4customgroupdelete

Fix delete customgroup using API4 so it removes data table

Merge pull request #20266 from civicrm/5.38

5.38

APIv4 - Add test to ensure custom tables are deleted

Merge pull request #20256 from eileenmcnaughton/538

dev/core#2601 fix joomla permission regression

Fix delete customgroup using API4 so it removes data table

Merge pull request #20254 from seamuslee001/fix_d9_install

Make APIv4 Subscribers Public to fix D9 install

Merge pull request #20261 from eileenmcnaughton/tt2

fix missing parent tearDown

Merge pull request #20262 from eileenmcnaughton/tt3

Fix missing parent tearDown

Afform - Drag & drop fixes

The drag-drop validation broke when af-gui-field was changed from a directive to
a component, as the jQuery was looking for the wrong markup.

Additionally, this attempts to fix a hard-to-reproduce bug where the styling
gets stuck in a "dragging" state after something has been dropped.

Fix missing parent tearDown

fix missing parent tearDown

CIVICRM-1733 CiviCRM Scheduled Reminders, Subject field missing Token selector field

Merge pull request #20257 from eileenmcnaughton/v3test

[NFC] Test - fix to use v3 api on postAsserts

Merge pull request #20242 from eileenmcnaughton/group

[REF] Extract code determining list of groups requiring a refresh

[NFC] Test - fix to use v3 api on postAsserts

Merge pull request #20253 from eileenmcnaughton/cont_test

[Test] Improve cleanup of domain contacts

Merge pull request #20255 from demeritcowboy/mysql-compare

dev/core#2602 - Installer doesn't check mysql version properly

dev/core#2601 fix joomla permission regression

This was a change we ultimately decided to, but forgot to, revert. It gave
extensions the ability to modify already-defined-permissons but
was brought out of scope of the change as it required more
consideration that simply adding the new super duper permission

In the meantime it caused a Joomla! regression
https://lab.civicrm.org/dev/core/-/issues/2601

[Test] Improve cleanup of domain contacts

This fixes a situation where the domain contact may not have an email (or exist) if this
test is run in combination with certain others. The last test in the suite relies on the
domain contact having an email. This test was not following the practice
of having a tearDown but the tearDown was also flawed in recreating the domain
contacts but not their emails

fix comparison

Make APIv4 Subscribers Public to fix D9 install

Merge pull request #20121 from colemanw/l10nJs

Switch l10n.js from ajax callback to assetBuilder

Merge pull request #20250 from eileenmcnaughton/in

Test fix - assertion fails when run with other tests (sometimes)

Test fix - assertion fails when run with other tests (sometimes)

The assertion that invoice_number = INV_ + contribution_id is wrong. In fact
it is calculated as INV_ + (MAX(contribution_id)+1) prior to the contribution
being saved. This means that if the table has not been truncated the contribution
id might be 3 but the invoice_number would still be 0+1 - ie INV_1

- we could argue about whether the calculation method is flawed but this at least
makes the test more reliable and no-one has complained in practice about the
code behaviour

Merge pull request #20248 from eileenmcnaughton/tes

Improve cleanup on contact test

Improve cleanup on contact test

We are not deleting all financial entities, when created, meaning this
test can cause other tests to fail depending on the combo

Merge pull request #20238 from colemanw/civiCaseSave

APIv4 - CiviCase API: Fix openening a case with current user as creator

Merge pull request #20247 from civicrm/dependabot/npm_and_yarn/lodash-4.17.21

Bump lodash from 4.17.19 to 4.17.21

[REF] Fix function signature to actually-used variables

ids used to hold a whole lotta stuff. Now it just holds contributionRecurID.

This gets rid of ids as a param & just passes contributionRecurID

Bump lodash from 4.17.19 to 4.17.21

Bumps [lodash](https://github.com/lodash/lodash) from 4.17.19 to 4.17.21.
- [Release notes](https://github.com/lodash/lodash/releases)
- [Commits](https://github.com/lodash/lodash/compare/4.17.19...4.17.21)

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #20144 from eileenmcnaughton/never

hook_managed - do not try to disable managed entities if is_active is not available to api3.create

Set version to 5.39.alpha1

Set version to 5.38.beta1

Merge pull request #20152 from colemanw/resetLocationProviderHashPrefix

Globally reset angular hashPrefix

(NFC) Add comments about keeping two items sync'd

Merge pull request #20245 from eileenmcnaughton/ft

dev/core#2575 remove / improve indexes

ManagedEntities - Only set `is_active` if entity supports it

(REF) Extract method ManagedEntities::isActivationSupported()

Merge pull request #20244 from eileenmcnaughton/pp

dev/core#2593 [REF] Stop passing membership id into recur notify

dev/core#2575 remove / improve indexes

This removes a couple of indexes on the id field as they duplicate the primary key
as pointed out in https://lab.civicrm.org/dev/core/-/issues/2575

In addition a couple of other indexes are removed as duplicates but the
originals are fixed to be more meaningful. It's important that in a combined
key the field with the lowest cardinality is the first as the combined key is
searched for a complete match so on something like line_item we see the
key is

civicrm_contribution1
civicrm_contribution10
civicrm_contribution1111
civicrm_membership1

In this case there are only 3 possible variants for the first chunk of
characters so we get a much more effective key by reversing them.
(arguably the entity_table actually adds no value due to it's low
cardinality).

The original post
https://civicrm.stackexchange.com/questions/39409/redundant-indexes
also suggests that

is_deleted_sort_name_id duplicates the id index

That is not the case - this query would only ever be
used if is_deleted is a filter. If it IS used then the id
index would NOT be used as only one index is used per table.

However, note that the id part of the filter would only be used if
is_deleted and sort_name were too - so the id part is of little value
as the last parameter & it's likely mysql would chose to use the
primary key instead.

However, I would argue the index as a whole is of little value. The
cardinality of is_deleted is super low and so preceding sort_name
with it is probably inferior to just leaving the
sort_name index to be used. However, this would need testing on
a site with enough data to get results.

On the queue index - it's hard to imagine that having more than the
queue name in the index adds any value at all. However, this is also such a small
table that probably the index has almost no size and the query probably takes
almost no time to run so the time we would spend testing index changes on
this table we would likely never get back.

Note changing these indexes will only affect new sites - or existing sites if they
run the System.updateIndexes api. We do have a ticket open
https://lab.civicrm.org/dev/core/-/issues/2279 with a proposal to
allow sites to define their own indexes which would work in conjunction with the
above api call (since indexes are not 1 size fits all - for example we
have removed indexes on things like contribution_status_id due to
low cardinality). We don't pro-actively run index updates on upgrade
due to not wanting to alter custom index config until 2279 is resolved
and also because some old DBs hit issues that we never diagnosed (and stopped
trying to once we stopped pro-actively notifying them about them)

[REF] Stop passing membership id into recur notify

The membership id resolves to a boolean template parameter of whether a membership is attached to the relevant
recurring record. The classes that call this function do a lot of work
to determine this so it's better to calculate it in-function and
simplify those classes

APIv4 - CiviCase API: Fix openening a case with current user as creator

The DAOActionTrait::writeObjects function was formatting values but not by reference,
so the CiviCase writeObjects function was using unformatted values to open the case,
which would contain the raw string `user_contact_id` instead of the processed value.