Merge pull request #23338 from eileenmcnaughton/import_preview

Add import function to parser

Add import function to parser

This function is not used in this PR but added in
https://github.com/civicrm/civicrm-core/pull/23288/
- however, that PR is a bit stalled & getting the function added also allows
for other places to call it (ie kill off the enotices on the preview
screen and remove all the silly parameters in the construct)
so trying to get just the function merged

Merge pull request #23329 from eileenmcnaughton/import_getfields

Fix master-only regression on showing fields for contact type

Merge pull request #23335 from colemanw/searchKitDateFix

SearchKit - Ensure all date and timestamp fields are presented with datepicker

Merge pull request #23262 from eileenmcnaughton/limit

[REF] [Import] Handle limit with more sanity

Merge pull request #23327 from demeritcowboy/caseresources-limit

dev/core#3431 - Case activity only has 25 contacts listed from Case Resources in the Send Copy section

SearchKit - Ensure all date and timestamp fields are presented with a datepicker

Case Resources only returns 25 contacts

Fix master-only regression on showing fields for contact type

Merge pull request #23330 from eileenmcnaughton/import_errors

[Import] [Ref] Simplify string concatenation

Merge pull request #23322 from kurund/survey-title-fixes

make survey title available in form builder

[Import] [Ref] Simplify string concatenation

Merge pull request #23238 from ufundo/event-reminders-from-template-api4

Update copied event reminders to link to new event when creating from…

Merge pull request #23304 from eileenmcnaughton/import_highlight

[REF][Import] (minor) Extract getHightlightedFields

[REF][Import] Extract getHightlightedFields

Merge pull request #23326 from civicrm/5.49

5.49

Merge pull request #23295 from eileenmcnaughton/549

dev/core#3084 Bug fix on line item financial types

make survey title available in form builder

Merge pull request #23319 from colemanw/searchKitKeepLabel

SearchKit - Keep label when switching entity

Merge pull request #23315 from colemanw/searchDisplayGridCss

SearchKit - Move grid css to its own file

SearchKit - Keep label when switching entity

Merge pull request #23316 from jmcclelland/petition-links

Make links to sign a petition easily accessible on the form.

Merge pull request #23311 from colemanw/unusedEvent

APIv4 - Deprecate unnecessary event

Make links to sign a petition easily accessible on the form.

APIv4 - Move filtering of component entities higher up

Filtering out component entities at a low level was causing errors when trying
to get basic info about an entity from a disabled component.
It's better to do the filtering in the Entity.get action instead.

APIv4 - Deprecate unnecessary event

Before: To implement a virtual API4 entity, an extension must listen to 2 events, one of which is redundant.
After: Redundant event no longer used, as the one event returns all necessary data.

All the info from `civi.api4.entityTypes` is sufficient to create an APIv4 request.
`civi.api4.createRequest` was redundant.

SearchKit - Move grid css to its own file

Merge pull request #23015 from ginkgomzd/php8-unsupported-operand

resolve TypeError: unsupported operand types: string + int;

Merge pull request #23291 from eileenmcnaughton/import_output

dev/core#3414 Stop dropping temp table on finish of contact import job

Merge pull request #23302 from demeritcowboy/symfony-cmf

dev/drupal#176 - Symfony cmf removed from drupal 10

Merge pull request #21513 from JKingsnorth/core-2846-1-improve-start-end-date-validation

dev/core#2846 Towards validation of start and end dates. Forms.

Merge pull request #23243 from colemanw/reconcile

APIv4 - Add `Managed::reconcile` action.

Merge pull request #23309 from civicrm/5.49

5.49

Merge pull request #23303 from colemanw/afformMetaEvent

Afform - Dispatch event to alter admin metadata; provide mixin

Merge pull request #23280 from eileenmcnaughton/import_job

[REF] [Import] Ensure jobID is set in contact flow

Merge pull request #23293 from eileenmcnaughton/import_deprecated

[REF] [Import] call non-deprecated function instead of deprecated

Merge pull request #23308 from eileenmcnaughton/import_fields

[REF] [Import] [Trivial] Make 'mapper' field available as a submittable value throughout the flow

Merge pull request #23307 from eileenmcnaughton/import_defaults

[REF] [Import] [Trivial] Make mapperKeys parameter optional in construct

Merge pull request #23306 from eileenmcnaughton/import_notice

[Import] Enotice fix on contact import field mapping screen

Merge pull request #22837 from totten/master-authx-ignore-header

(dev/core#3416) authx - If `Authorization:` header is disabled, then ignore it.

[REF] [Import] [Trivial] Make 'mapper' field available as a submittable value throughout the flow

The fields defined here can be accessed from any field in
the flow, removing the need to pass the values from form to form

[REF] [Import] [Trivial] Make mapperKeys parameter optional in construct

[Import] E-notice fix

This fixes 1 of 2 notices on the Contact import field mapping screen.
- instead of assigning a variable for show-hide it uses jquery

Merge pull request #23298 from artfulrobot/artfulrobot-21473-followup

Compare currencies as well as amounts on template Contribution change

keep support for drupal 8

cmf removed from drupal 10

Afform - Dispatch event to alter admin metadata; provide mixin

Instead of scanning files for Afform entities, this dispatches an event to allow them to be altered.
It provides a mixin which extensions can use to automatically do the file scanning.

Compare currencies as well as amounts on template Contribution change

Update CRM/Contribute/BAO/ContributionRecur.php

Merge pull request #23300 from eileenmcnaughton/import_extract

[REF] [Import] [Trivial] Extract duplicate match options

Merge pull request #23301 from eileenmcnaughton/549_amount

Fix propertyBag regression on `amount`

dev/core#3084 Bug fix on line item financial types

This initially caused test fails on test written for
https://lab.civicrm.org/dev/core/-/issues/860

However, I think the issue is flaws in the test, which
I have adjusted to have more accurate set up

authx_civicrm_enable - Don't enable `Authorization:` headers if there's plausible conflict

Some deployments may have two layers of authorization:

(1) A generic/site-wide HTTP basic check (perhaps to prevent search-engines
    from finding the site; perhaps enforced by a reverse proxy)
(2) A Civi or CMS credential (eg session-cookie, ?_authx, or X-Civi-Auth:)

Authx sits in layer 2.  It should enable HTTP `Authorization:` handling
if-and-only-if there is NOT a pre-existing `Authorization:` mechanism.

To test this, I enabled the extension over APIv3 REST -- with/without a superfluous header:

```
curl -X POST -d 'entity=Extension&action=enable&json=%7B%22keys%22%3A%22authx%22%7D&api_key=FIXME_USER_KEY&key=FIXME_SITE_KEY' \
  'http://dmaster.127.0.0.1.nip.io:8001/sites/all/modules/civicrm/extern/rest.php'

curl -X POST -H 'Authorization: Bearer superfluous' -d 'entity=Extension&action=enable&json=%7B%22keys%22%3A%22authx%22%7D&api_key=FIXME_USER_KEY&key=FIXME_SITE_KEY' \
  'http://dmaster.127.0.0.1.nip.io:8001/sites/all/modules/civicrm/extern/rest.php'
```

AllFlowsTest - Make `testJwtMiddleware()` less sensitive to interactions with other tests

AllFlowsTest - If `Authorization:` support is disabled, then it's ignored completely.

This means that the request is effectively anonymous -- the same as it would be if you had not sent an `Authorization:` header.

authx - If `Authorization:` header is disabled, then ignore it.

AllFlowsTest - Add case `testIgnoredHeaderAuthorization()`

Merge pull request #23286 from eileenmcnaughton/mapping

[REF][Test] Update loadMappingTest to use form flow

dev/core#3413 Remove handling of total_amount form propertyBag

This appears to have caused a regression per
https://lab.civicrm.org/dev/core/-/issues/3413

In addition I don't think we should have a 'sloppy alternative'
to  being called with the correct documented
amount property

https://docs.civicrm.org/dev/en/latest/extensions/payment-processors/create/#available-parameters

[REF] [Import] [Trivial] Extract duplicate match options

As part of moving from passing variables from form to form & getting using
'get' we are retrieving onDuplicate via getSubmittedValue(), also extracting
to allow code blocks to clarify better

[REF][Test] Update loadMappingTest to use form flow

This makes it test more accurately what the form is doing....

Merge pull request #23268 from totten/master-ext-load

dev/core#3184 - Definitively load mainfiles during bootstrap - Option 3

Merge pull request #21943 from mattwire/gccacheignore

Simplify and improve performance of query to insert updated cache

Merge pull request #23284 from eileenmcnaughton/import_contact_type

[REF] [Import] Extract getContactType

[REF] [Import] call non-deprecated function instead of deprecated

Merge pull request #23287 from kurund/update-supporter-url

update-supporter-url

Stop dropping temp table on finish of contact import job

This is being done in order to support as-required downloading of output
csv from the temp table.

(note that viewing the temp table directly rather than down loading might
also be on the cards)

Merge pull request #23285 from eileenmcnaughton/import_old_var

Remove an unset variable

update-supporter-url

Merge pull request #23147 from braders/contactimage-accept-attr

Restrict allowed uploads - contact image

Remove an unset variable

[REF] [Import] Extract getContactType

Note that the function on the MetaDataTrait is moved to the
Parser_Class - 3 forms use the trait - a unittest class,
the Parser_Class and MapField.

MapField was not calling the old function but the newly added one
clashes - and highlights that the contents of the function
should differ for the 2 scenarios - hence moving
off the Trait and onto the 3 classes that use it

Merge pull request #23272 from eileenmcnaughton/import_contract

[REF] [Import] Simplify dataSource contract - remove unused preProcess

Merge pull request #23277 from eileenmcnaughton/import_main

Whitespace cleanup in template file

Merge pull request #23278 from demeritcowboy/case-tags-static

Make static function static - processCaseTags

Whitespace cleanup

[REF] [Import] Ensure jobID is set in contact flow

Merge pull request #23275 from eileenmcnaughton/error

Remove another good intention - unused variables

Merge pull request #22683 from mattwire/paymentstatushelpersall

dev/financial#141 - Update return parameters on all payment processors to match expected results

make static static

Merge pull request #23263 from eileenmcnaughton/import_wippier

 [Import] Rename dedupe rule id field from dedupe to dedupe_rule_id field

Remove another good intention - unused variables

100% of the responses from setActiveFields are discarded and 100% of the time
the erroneousField value is not used. Hence it makes sense to remove them....

Merge pull request #23269 from eileenmcnaughton/email

Remove preferred email format from inline edit

Merge pull request #23274 from civicrm/5.49

5.49 to master

Merge pull request #23271 from colemanw/searchKitTestFix

SearchKit - Fix aggregation issues & test regression

Simplify dataSource contract - remove unused preProcess

The choice of required functions was not great - postProcess passes silly
params & preProcess is never used / always empty - this removes preProcess
and gets rid of the abstract class for postProcess (which
will be decommissioned in a follow up)

[Import] Rename dedupe rule id field from dedupe to dedupe_rule_id field

It is still dedupe internally as those places will 'age out'

[REF] [Import] Clean up on map fields & preview templates in Contact import

This provides a bit of sanity to the MapTable.tpl which is included from
MapField and Preview - the focus being around getting
rid of all the section tags which rely on Count being assigned
and getting back to for-eaching the relevant arrays

SearchKit - Fix aggregation issues

In the UI, "Extra" fields like Contact.age_years were not being aggregated properly.

On the server, fixes mismatch when checking an aggregate field with a suffix.
Fixes recent test regression.

Use hard-coding when variable is unchangeable

Merge pull request #23245 from eileenmcnaughton/import_wip

Import - start to use civicrm_user_job to track user imports

Merge pull request #23264 from mlutfy/ui47scroll

dev/user-interface#47 Disable scrolling on time inputs

Merge pull request #23267 from civicrm/5.49

5.49 to master

Merge pull request #23265 from colemanw/pivotTablesFix

SearchKit - Fix selection of fields when creating a Data Segment

Remove preferred email format from inline edit

We removed other places in the UI where this shows up....

dev/core#3184 - Definitively load mainfiles during bootstrap

Merge pull request #23266 from colemanw/castToArray

APIv4 - Avoid php error

APIv4 - Avoid php error

Prevents a php error when calling `array_merge()` on `null`.

Merge pull request #23246 from jmcclelland/CustomCheckboxContributionImport

ensure checkbox custom fields on contributions import properly

SearchKit - Fix selection of fields when creating a Data Segment

Merge pull request #23059 from colemanw/pivotTables

SearchKit - Add data segmentation functionality