Merge pull request #23900 from totten/5.51-sticky-classloader

(dev/core#3660) CRM_Extension_ClassLoader - Defend against redundant refreshes

(dev/core#3660) CRM_Extension_ClassLoader - Defend against redundant refreshes

Overview
--------

This is a follow-up to #23824 (c24dd7db7e1e91120fd7daeb7e151f856d6b78c3) which addresses a
regressive edge-case.

Steps to Reproduce
------------------

* Write an extension like `wmf-civicrm` which (a) calls `System.flush` (`rebuildMenuAndCaches()`)
  during `hook_install` -- and then (b) loads some class from the same extension.
    ```php
    function foo_civicrm_install() {
      civicrm_api3('System', 'flush', []);
      CRM_Foo_Helper::doStuff();
    }
    ```
* Try to install the extension.

Before
------

Crashes on loading the class `CRM_Foo_Helper`

After
-----

Loads the class `CRM_Foo_Helper`.

Comments
--------

(1) To see what's happening, consider `CRM_Extension_Manager_Module::onPreInstall()`.
This registers the new classloader and then fires `hook_install` which eventually
fires `rebuildMenuAndCaches()`. With c24dd7db, this resets the classloader again.
But the extension isn't fully installed yet - so it forgets about the new extension.

(2) Is it safe to have some (temporarily) sticky items?  Ish.  You might
say: "Ah, but what if we need to remove an extension?  Won't this static
variable retain stale things?" Doesn't matter.  In PHP, classloading is a
one-way-street.  (You cannot unload.) So you'll still have old classes in
memory, regardless of whether the `ClassLoader` has some old metadata
about where to find classes.

(3) I'm on the fence about whether this patch is a good idea.  Calling
`System.flush` explicitly in this context seems like an invitation to
trouble.  OTOH, it worked before #23824, so it can be called a regression.

Merge pull request #23897 from agh1/5.51.0-releasenotes-initial

5.51.0 release notes initial run

5.51.0 release notes: added boilerplate

Merge pull request #23854 from totten/master-mixin-wfmsg

Scan for classes based on the PHP interface (WorkflowMessageInterface, ExampleDataInterface)

ExampleDataInterface - Switch to ClassScanner (part 3, swap scanner)

ExampleDataInterface - Switch to ClassScanner (part 2, use new names)

ExampleDataInterface - Switch to ClassScanner (part 1, rename *.ex.php => *.php)

WorkflowMessage - Switch to `ClassScanner` (was: bespoke `include_path` search)

mixin/scan-classes@1 - Allow extensions to opt-in to class scanning

ClassScanner - Add utility for scanning classes based on PHP interfaces

CRM_Utils_System::flushCache - More consistent behavior. Prepare for interface-php test.

* The interface-php test registers an instance of WorkflowMessageInterface.
* The list of WorkflowMessageInterface's is stored in the 'long' cache.
* When you enable/disable an extension, it should clear WorkflowMessage list (and other things).
* Before this patch, interface-php's `LifecycleTest` is inconsistent: it passes with
  `testLifecycleWithSubprocesses()` and fails with `testLifecycleWithLocalFunctions()`.
* After this patch, interface-php's `LifecycleTest` is consistent: it passes with both
  `testLifecycleWithSubprocesses()` and  `testLifecycleWithLocalFunctions()`.
* The problem - while executing `testLifecycleWithLocalFunctions()`, it evidentally uses
  `Arraycache` as the backend -- and thus skips the flushes. However, I cannot fathom why
  one would want to clear-caches for SQL+memcache+redis but keep them for Arraycache.

Merge pull request #23874 from AlainBenbassat/empty-weight-column-during-upgrade

returns weight 0 when weight column name is empty

Merge pull request #23876 from colemanw/checkRecentItemsPerms

RecentItems - Enforce permissions before adding item

5.51.0 release notes: raw from script

RecentItems - Enforce permissions before adding item

returns weight 0 when weight column name is empty

Merge pull request #23867 from demeritcowboy/currency551

dev/core#3680 - Currency incorrectly displayed for price set when default is not USD

use the actual currency if there is one not the default

Merge pull request #23865 from colemanw/behalf

dev/core#3675 Fix Permissioned Relationship pseudoconstant

dev/core#3675 Fix Permissioned Relationship pseudoconstant

Fixes dev/core#3675 Permissioned Relationship no longer set up
for "On Behalf of Organization" Membership Contribution Form submissions

Merge pull request #23839 from eileenmcnaughton/import_outy

dev/core#3665 import summary fixes

Merge pull request #23849 from eileenmcnaughton/import_55

dev/core#3673 do not attempt to import empty related contact

Merge pull request #23836 from stesi561/dev/core/#3671

Refs: dev/core#3671 Fix regression involving CiviCRM Webform + Cases.

Merge pull request #23858 from seamuslee001/guzzle_658

[REF] Update Guzzle to be 6.5.8

[REF] Update Guzzle to be 6.5.8

dev/core#3673 do not attempt to report empty related contact

Merge pull request #23822 from MegaphoneJon/3661-551

fixes core#3661: Don't check API permissions in CRM_Mailing_BAO_Mailing::getGroupNames()

Merge pull request #23842 from seamuslee001/regen_3658

[REF] dev/core#3658 Regenerate civicrm_generated to ensure that group…

[REF] dev/core#3658 Regenerate civicrm_generated to ensure that grouping is added on installs

Add related contacts to the group too, per prior version

dev/core#3665 import summary fixes

m

fixes core#3661: Don't check API permissions in CRM_Mailing_BAO_Mailing::getGroupNames()

Merge pull request #23838 from eileenmcnaughton/import_out

Add view link to user job monitoring page

Merge pull request #23821 from eileenmcnaughton/import_long

dev/core#3662 increase length of import table status message

Merge pull request #23835 from eileenmcnaughton/related

dev/core#3667 fix failure to match existing contacts in skip mode

Make monitoring page degrade gracefully if the import job is deleted

Add view link to user job monitoring page

Merge pull request #23823 from eileenmcnaughton/contact_test

dev/core#3663 fix output regression on csv output for import

Merge pull request #23818 from colemanw/afformDep

Afform - fix dependency injection for autogenerated forms

dev/core#3667 fix failure to match existing contacts in skip mode

As reported by Andy C and verified by me 5.48 does create new related
contacts in skip mode

Refs: dev/core#3671 Fix regression involving CiviCRM Webform + Cases.

Ignores permissions on api4 call in Recent::getTitle()

Always throw exception in tests for pdf out

headers_sent() was always true before and hence the tests were written to expect the
exception would be called. Fixing that caused the tests to fail - but fixing it is good

Merge pull request #23827 from eileenmcnaughton/empty_date

Handle empty date token gracefully

Handle empty date token gracefully

Output to stdErr rather than echo

Merge pull request #23824 from totten/mixin-refresh

(dev/core#3660) Ensure that rebuildMenuAndCaches has current mixins+classloaders

dev/core#3663 fix output regression on csv output

This fixes a very-recent rc regression whereby the file error output was
not correctly referring to the fields to be exported.

Note that in order to make it testable I had to
- remove header-setting that duplicates work done by the csv package
- remove extraneous echos in the GenCode

(dev/core#3660) Ensure that rebuildMenuAndCaches has current mixins+classloaders

Overview
--------

This fixes an issue in transitioning from `hook_managed` to `mixin/mgd-php@1`, wherein
managed-entities are briefly deleted (but later recreated).

Steps to Reproduce
------------------

1. (Web) Install an extension with a revision that uses `hook_managed`
2. (CLI) Switch the extension to a revision that uses `mixin/mgd-php@1`
3. (CLI) View contents of `civicrm_managed`
4. (Web) Run `civicrm/menu/rebuild`
5. (CLI) View contents of `civicrm_managed`
6. (Web) Run `civicrm/menu/rebuild`
7. (CLI) View contents of `civicrm_managed`

Before
------

While processing step 4 (`civicrm/menu/rebuild`), it fails to run the hooks for `mgd-php`.

Consequently, the list of managed-entities is lost and will disappear at step 5.

After
-----

While processing step 4 (`civicrm/menu/rebuild`), it activates the hooks for `mgd-php`.

Technical Details
------------------

When processing `civicrm/menu/rebuild`, there are a couple big substeps:

* `Civi\Core\Container::boot()` - During this process, it loads extensions. As usual,
  this reads cached metadata, sets up classloaders, sets up mixins/hooks, etc.
* `CRM_Core_Invoke::rebuildMenuAndCaches()` - During this process, it clears
  out caches and rebuilds several things (menus, managed-entities, etc).

The problem is this:

* The cache used during `boot()` has stale metadata (specifically,
  `civicrm_cache` has old values of `mixinScan` and `mixinBoot`).
  So it doesn't setup any new mixins/hooks.
* Then `rebuildMenuAndCaches()` depends on the mixins/hooks that are already setup.
  While the function does clear persistent caches, it assumes that the
  PHP runtime environment is up-to-spec. But it's not -- becuase our hooks
  were based on the caches.

The patch uses the same `refresh()` mechanism as the extension-administration subsystem (which
has to reset the classloaders+mixins after enabling or disabling an extension).

dev/core#3662 increase length of import table status message

This addresses https://lab.civicrm.org/dev/core/-/issues/3662 but
I think the underlying issue is that it has matched so many contacts, for
some reason, that the list of them is longer than 65,535 characters
so it is addressing a symptom, not the cause. 65,535 characters
feels like it should be long enough but changing to LONGTEXT
for a single field seems harmless so I'm a little on the
fence - but even if it just helps us debug....

Merge pull request #23807 from colemanw/fixAfformTitle

SearchKit - Only add filter values to Afform title if passed internally

SearchKit - Only add filter values to Afform title if passed internally

This narrows the scope of contextual titles from #22319 to
only those filters passed internally, as used in drilldown forms.

It makes sense to exclude values from exposed filters because that
can lead to a confusing UI.

Afform - fix dependency injection for autogenerated forms

Merge pull request #23815 from seamuslee001/date_second_customformat

[REF] Fix second output in customFormat function and extend unit test

[REF] Fix second output in customFormat function and extend unit test

Merge pull request #23801 from eileenmcnaughton/cont_work

Fix breakage in message preview on workflow contributions

Merge pull request #23805 from mattwire/devfinancial197alt

dev/financial#197 Revert freezing on total_amount field on recurring form (alt to #23796)

Revert freezing on total_amount field on recurring form

Merge pull request #23798 from seamuslee001/fix_auto_renew_membership

Fix Automatic renewal membership from front end contribution forms

Fix breakage in message preview on workflow contributions

[REF] Fix Automatic renewal membership from front end contribution forms

Properly fix regression and update unit tests to match what the form does

Merge pull request #23785 from totten/5.51-hook-log

dev/core#3502 - CiviEventDispatcher - Softer errors for not-ready. More comments.

Merge pull request #23753 from eileenmcnaughton/import_validate_int

Add integer validation to import

Merge pull request #23763 from eileenmcnaughton/act_test

Fix target contact label back to include target

Merge pull request #23764 from eileenmcnaughton/activity_update_mutli

dev/core#2706 dev/core#2308 fix activity import to update multi-select fields

Merge pull request #23788 from ufundo/5.51

only check batch currency match when adding a financial_trxn

Merge pull request #23786 from mattwire/devfinancial199

dev/financial#199 Fix additional details on edit template contribution

Fix additional details on edit template contribution

only check batch currency match when adding a financial_trxn

dev/core#3502 - CiviEventDispatcher - Tune down the warning

dev/core#3502 - CiviEventDispatcher - Tweak error message. Add explanation.

Merge pull request #23783 from totten/5.51-snapshots

FiveFiftyOne - Enable snapshots for data modified data

FiveFiftyOne - Enable snapshots for data modified data

Before
------

The 5.51.alpha upgrade modifies a some data-structures (`civicrm_mapping_*`, `civicrm_queue`),
but it doesn't take any snapshots.

After
-----

It does snapshots.

Comments
--------

Both tables should generally be quite small.

Strictly, the `civicrm_mapping_*` updates are more in-place modifications,
so that's more important.  The `civicrm_queue` changes are only adding new
columns.  But the table is so small - it doesn't hurt.

I suppose one could argue that these particular fields aren't likely to have
problems - but it's important to get in the habit of enabling snapshots so
that we have them when they do matter.

Merge pull request #23771 from eileenmcnaughton/cont_update

dev/core#3651 dev/core#1337 Fix failure to show last column data in output, spaces in names

Merge pull request #23780 from totten/5.51-hush

(dev/core#3653) CRM_Queue_Runner - Fix upgrade warnings. Extract disableBackgroundExecution().

Merge pull request #23766 from eileenmcnaughton/cont_up

dev/core#3513 Remove 'done' from sumary/import monitoring page

CRM_Queue_Runner - Fix upgrade warnings. Extract disableBackgroundExecution().

This is a revision to #23775.  As before, it prevents a hard error when
upgrading to 5.51.  However, the try-catch produces confusing error messages
in the `CiviCRM.log.*` (ie they indicate a SQL error, but the situation is
actually a normal/expected during upgrade).  This avoids the error messages.

Tested (`r-run`) with `civicrm/upgrade`, `drush civicrm-upgrade-db`, and `cv
upgrade:db` -- for both 5.45=>5.51 and 5.45=>5.49=>5.51.

Merge pull request #23777 from darrick/fix_import_disableUSPS

fix disableUSPS since import running in separate context of Queue.

fix disableUSPS since import running in separate context of Queue.

Merge pull request #23775 from eileenmcnaughton/5.51

dev/core#3653 Fix on queue runner not working in upgrade

dev/core#3653 Fix on queue runner not working in upgrade

Merge pull request #23772 from eileenmcnaughton/cont_contact_fields

Fix import regression - contribution import borks on do_not_import

Merge pull request #23757 from colemanw/dupeFixAgain

Deduepe - Fix form buttons (again)

dev/core#3651 dev/core#1337 Fix failure to show last column data in output, spaces in names

Fix import regression - contribution import borks on do_not_import

dev/core#3513 Remove 'done' from sumary/import monitoring page

See dev/core#3513 for why it's confusing

Merge pull request #23759 from colemanw/fixTotalCount

[REGRESSION] SearchKit - Fix angular console error when totalCount is not given

Merge pull request #23754 from eileenmcnaughton/act_date

dev/core#2325 import second-handling fix

Merge pull request #23765 from eileenmcnaughton/guzzle_it

Catch & convert Guzzle exception

Merge pull request #23758 from colemanw/noCiviGrant

Setup - Remove CiviGrant from available components

Merge pull request #23760 from eileenmcnaughton/validate_fields

dev/core#3511 Improve handling of invalid saved mapping fields

Merge pull request #23761 from eileenmcnaughton/invalid_state_with_country

dev/core#3512 fix rc fatal error when state is invalid

Setup - Remove CiviGrant from available components

Fixes dev/core#3485

SearchKit - Fix angular console error when totalCount is not given

Before: Error: [$compile:nonassign] Expression 'undefined' in attribute 'totalCount' used with directive 'crmSearchDisplayTable' is non-assignable!

After: Fixed, and totalCount still functions correctly for its indended purpose with SearchSegments.

Deduepe - Fix form buttons (again)

Fixes dev/core#3421
Also see dev/core#3135
And the original cause: a6f2a80

Catch & convert Guzzle exception

dev/core#2706 fix activity import to update multi-select fields

Fix target contact label back to include target

dev/core#2325 import second-handling fix

dev/core#3512 fix rc fatal error when state is invalid