Merge pull request #23823 from eileenmcnaughton/contact_test

dev/core#3663 fix output regression on csv output for import

Merge pull request #23818 from colemanw/afformDep

Afform - fix dependency injection for autogenerated forms

Always throw exception in tests for pdf out

headers_sent() was always true before and hence the tests were written to expect the
exception would be called. Fixing that caused the tests to fail - but fixing it is good

Merge pull request #23827 from eileenmcnaughton/empty_date

Handle empty date token gracefully

Handle empty date token gracefully

Output to stdErr rather than echo

Merge pull request #23824 from totten/mixin-refresh

(dev/core#3660) Ensure that rebuildMenuAndCaches has current mixins+classloaders

dev/core#3663 fix output regression on csv output

This fixes a very-recent rc regression whereby the file error output was
not correctly referring to the fields to be exported.

Note that in order to make it testable I had to
- remove header-setting that duplicates work done by the csv package
- remove extraneous echos in the GenCode

(dev/core#3660) Ensure that rebuildMenuAndCaches has current mixins+classloaders

Overview
--------

This fixes an issue in transitioning from `hook_managed` to `mixin/mgd-php@1`, wherein
managed-entities are briefly deleted (but later recreated).

Steps to Reproduce
------------------

1. (Web) Install an extension with a revision that uses `hook_managed`
2. (CLI) Switch the extension to a revision that uses `mixin/mgd-php@1`
3. (CLI) View contents of `civicrm_managed`
4. (Web) Run `civicrm/menu/rebuild`
5. (CLI) View contents of `civicrm_managed`
6. (Web) Run `civicrm/menu/rebuild`
7. (CLI) View contents of `civicrm_managed`

Before
------

While processing step 4 (`civicrm/menu/rebuild`), it fails to run the hooks for `mgd-php`.

Consequently, the list of managed-entities is lost and will disappear at step 5.

After
-----

While processing step 4 (`civicrm/menu/rebuild`), it activates the hooks for `mgd-php`.

Technical Details
------------------

When processing `civicrm/menu/rebuild`, there are a couple big substeps:

* `Civi\Core\Container::boot()` - During this process, it loads extensions. As usual,
  this reads cached metadata, sets up classloaders, sets up mixins/hooks, etc.
* `CRM_Core_Invoke::rebuildMenuAndCaches()` - During this process, it clears
  out caches and rebuilds several things (menus, managed-entities, etc).

The problem is this:

* The cache used during `boot()` has stale metadata (specifically,
  `civicrm_cache` has old values of `mixinScan` and `mixinBoot`).
  So it doesn't setup any new mixins/hooks.
* Then `rebuildMenuAndCaches()` depends on the mixins/hooks that are already setup.
  While the function does clear persistent caches, it assumes that the
  PHP runtime environment is up-to-spec. But it's not -- becuase our hooks
  were based on the caches.

The patch uses the same `refresh()` mechanism as the extension-administration subsystem (which
has to reset the classloaders+mixins after enabling or disabling an extension).

Merge pull request #23807 from colemanw/fixAfformTitle

SearchKit - Only add filter values to Afform title if passed internally

SearchKit - Only add filter values to Afform title if passed internally

This narrows the scope of contextual titles from #22319 to
only those filters passed internally, as used in drilldown forms.

It makes sense to exclude values from exposed filters because that
can lead to a confusing UI.

Afform - fix dependency injection for autogenerated forms

Merge pull request #23815 from seamuslee001/date_second_customformat

[REF] Fix second output in customFormat function and extend unit test

[REF] Fix second output in customFormat function and extend unit test

Merge pull request #23801 from eileenmcnaughton/cont_work

Fix breakage in message preview on workflow contributions

Merge pull request #23805 from mattwire/devfinancial197alt

dev/financial#197 Revert freezing on total_amount field on recurring form (alt to #23796)

Revert freezing on total_amount field on recurring form

Merge pull request #23798 from seamuslee001/fix_auto_renew_membership

Fix Automatic renewal membership from front end contribution forms

Fix breakage in message preview on workflow contributions

[REF] Fix Automatic renewal membership from front end contribution forms

Properly fix regression and update unit tests to match what the form does

Merge pull request #23785 from totten/5.51-hook-log

dev/core#3502 - CiviEventDispatcher - Softer errors for not-ready. More comments.

Merge pull request #23753 from eileenmcnaughton/import_validate_int

Add integer validation to import

Merge pull request #23763 from eileenmcnaughton/act_test

Fix target contact label back to include target

Merge pull request #23764 from eileenmcnaughton/activity_update_mutli

dev/core#2706 dev/core#2308 fix activity import to update multi-select fields

Merge pull request #23788 from ufundo/5.51

only check batch currency match when adding a financial_trxn

Merge pull request #23786 from mattwire/devfinancial199

dev/financial#199 Fix additional details on edit template contribution

Fix additional details on edit template contribution

only check batch currency match when adding a financial_trxn

dev/core#3502 - CiviEventDispatcher - Tune down the warning

dev/core#3502 - CiviEventDispatcher - Tweak error message. Add explanation.

Merge pull request #23783 from totten/5.51-snapshots

FiveFiftyOne - Enable snapshots for data modified data

FiveFiftyOne - Enable snapshots for data modified data

Before
------

The 5.51.alpha upgrade modifies a some data-structures (`civicrm_mapping_*`, `civicrm_queue`),
but it doesn't take any snapshots.

After
-----

It does snapshots.

Comments
--------

Both tables should generally be quite small.

Strictly, the `civicrm_mapping_*` updates are more in-place modifications,
so that's more important.  The `civicrm_queue` changes are only adding new
columns.  But the table is so small - it doesn't hurt.

I suppose one could argue that these particular fields aren't likely to have
problems - but it's important to get in the habit of enabling snapshots so
that we have them when they do matter.

Merge pull request #23771 from eileenmcnaughton/cont_update

dev/core#3651 dev/core#1337 Fix failure to show last column data in output, spaces in names

Merge pull request #23780 from totten/5.51-hush

(dev/core#3653) CRM_Queue_Runner - Fix upgrade warnings. Extract disableBackgroundExecution().

Merge pull request #23766 from eileenmcnaughton/cont_up

dev/core#3513 Remove 'done' from sumary/import monitoring page

CRM_Queue_Runner - Fix upgrade warnings. Extract disableBackgroundExecution().

This is a revision to #23775.  As before, it prevents a hard error when
upgrading to 5.51.  However, the try-catch produces confusing error messages
in the `CiviCRM.log.*` (ie they indicate a SQL error, but the situation is
actually a normal/expected during upgrade).  This avoids the error messages.

Tested (`r-run`) with `civicrm/upgrade`, `drush civicrm-upgrade-db`, and `cv
upgrade:db` -- for both 5.45=>5.51 and 5.45=>5.49=>5.51.

Merge pull request #23777 from darrick/fix_import_disableUSPS

fix disableUSPS since import running in separate context of Queue.

fix disableUSPS since import running in separate context of Queue.

Merge pull request #23775 from eileenmcnaughton/5.51

dev/core#3653 Fix on queue runner not working in upgrade

dev/core#3653 Fix on queue runner not working in upgrade

Merge pull request #23772 from eileenmcnaughton/cont_contact_fields

Fix import regression - contribution import borks on do_not_import

Merge pull request #23757 from colemanw/dupeFixAgain

Deduepe - Fix form buttons (again)

dev/core#3651 dev/core#1337 Fix failure to show last column data in output, spaces in names

Fix import regression - contribution import borks on do_not_import

dev/core#3513 Remove 'done' from sumary/import monitoring page

See dev/core#3513 for why it's confusing

Merge pull request #23759 from colemanw/fixTotalCount

[REGRESSION] SearchKit - Fix angular console error when totalCount is not given

Merge pull request #23754 from eileenmcnaughton/act_date

dev/core#2325 import second-handling fix

Merge pull request #23765 from eileenmcnaughton/guzzle_it

Catch & convert Guzzle exception

Merge pull request #23758 from colemanw/noCiviGrant

Setup - Remove CiviGrant from available components

Merge pull request #23760 from eileenmcnaughton/validate_fields

dev/core#3511 Improve handling of invalid saved mapping fields

Merge pull request #23761 from eileenmcnaughton/invalid_state_with_country

dev/core#3512 fix rc fatal error when state is invalid

Setup - Remove CiviGrant from available components

Fixes dev/core#3485

SearchKit - Fix angular console error when totalCount is not given

Before: Error: [$compile:nonassign] Expression 'undefined' in attribute 'totalCount' used with directive 'crmSearchDisplayTable' is non-assignable!

After: Fixed, and totalCount still functions correctly for its indended purpose with SearchSegments.

Deduepe - Fix form buttons (again)

Fixes dev/core#3421
Also see dev/core#3135
And the original cause: a6f2a80

Catch & convert Guzzle exception

dev/core#2706 fix activity import to update multi-select fields

Fix target contact label back to include target

dev/core#2325 import second-handling fix

dev/core#3512 fix rc fatal error when state is invalid

dev/core#3511 Improve handling of invalid saved mapping fields

Merge pull request #23756 from eileenmcnaughton/import_to_group

dev/core#3160 fix inability to import 'just contactid' and add to group

Merge pull request #23755 from eileenmcnaughton/import_ivory_coast

dev/core#3505, dev/core#3506 dev/core#3052 Import fixes for unicode url, Côte d’Ivoire

dev/core#3160 fix inability to import 'just contactid' and add to group

dev/core#3505, dev/core#3506 Import fixes for unicode url, Côte d’Ivoire

Set version to 5.51.beta1

Merge pull request #23747 from eileenmcnaughton/import_contribution

Remove some more unused code

Add integer validation to import

Merge pull request #23750 from eileenmcnaughton/test_cruft

Reduce test output spam

Merge pull request #23748 from eileenmcnaughton/guzzle

Update guzzle to 6.5.7

Remove some more unused code

Merge pull request #23751 from eileenmcnaughton/test_member

Fix for failing test in master

Merge pull request #23746 from totten/master-queue-flag

CRM_Queue_Runner - Add basic/skeletal support for `runAllInteractively()`

Merge pull request #23679 from totten/master-queue-tpl-inclusive

Civi::queue() - Add support for 'template' queues

Merge pull request #23744 from eileenmcnaughton/import_csv

Fix unrelease regression - malformed MapField without skipColumnHeaders

Fix for failing test in master

Merge pull request #23745 from eileenmcnaughton/obsolete_activity

Remove obsolete/unused code, fix notices - activity import

Merge pull request #23743 from totten/master-queue-runas

CRM_Queue_Task - Track an optional `$runAs` property

Reduce test output spam

Update guzzle to 6.5.7

Fix unrelease regression - malformed MapField without skipColumnHeaders

Remove obsolete/unused code - activity import

Merge pull request #23742 from eileenmcnaughton/import_remove

Remove more obsolete import code

demoqueue - Switch from `runAllViaWeb()` to `runAllInteractive()`

Implement runAllInteractive and assertRequirements*

CRM_Queue_Runner - runAllViaWeb should run exclusively via web

This is a preventative measure.

civicrm/queue/monitor - Add skeletal page for monitoring status

crmQueueMonitor - Skeletal module

Add experimental setting `enableBackgroundQueue`

CRM_Queue_Runner - Conditionally inherit the queue's error-policy

Fix test fatal

Remove more obsolete import code

UserJob - Add property `is_template`

Eileen requested, and it's easiest to add now, and it seems safe+consistent.

Civi::queue() - Add support for 'template' queues

Overview
--------

Suppose you are in the habit of making separate queue-instances for
different batches of work.  However, you want to allow the sysadmin to
configure options like `type`, `batch_limit`, and `retry_interval`.

Solution: Make a template

After
-----

```php
// Use the API to register a template, eg
\Civi\Api4\Queue::create()->setValues([
  'name' => 'template-name',
  'is_template' => TRUE,
  ...
])->execute();

// Later, create a queue from the template
$q = Civi::queue('new-queue', ['template' => 'template-name']);
```

Queue - Add column `is_template`

CRM_Queue_Task - Track an optional `$runAs` property

Merge pull request #23740 from eileenmcnaughton/import_unused

Remove unused functions

Merge pull request #23737 from eileenmcnaughton/import_up_multi

Add upgrade for label to name conversion in `civicrm_mapping_field` for multiple custom imports

Merge pull request #23712 from eileenmcnaughton/import_queue

Enable QueueRunner for all imports

Merge pull request #23736 from eileenmcnaughton/import_multi

dev/core#3498 Fix mishandled option values

Add missing test file