Merge pull request #23669 from eileenmcnaughton/import_queue

Use UI Queue runner for import

Fix tests to the updated function signature

Merge pull request #23698 from seamuslee001/fix_price_set_entity_since

[NFC] Fix Since version in Price Set Entity APIv4

Also remove contactFields from createContact signature

Remove remaining refs to onDuplicate

Merge pull request #23687 from colemanw/adminAfformPerm

Afform - Add 'administer afform' permission

Use UI Queue runner for import

Additional minor code simplification

Tear down fix

Maybe the var name needs to match in the CI php version

Merge pull request #23691 from eileenmcnaughton/contact_type

Add not-yet-used function to allow the import to run in static (queue) context

Merge pull request #23688 from eileenmcnaughton/import_cont_tests

Contribution import - tests & fixes on dates, amount

[NFC] Fix Since version in Price Set Entity APIv4

Merge pull request #23693 from pradpnayak/pricesetid1

Typo fix for Entity Id

Merge pull request #23694 from pradpnayak/pricesetid2

Add price set entity api4 support

Merge pull request #23696 from mlutfy/mailingSubCancel

Mailing List Subscription: remove the cancel button

Mailing List Subscription: remove the cancel button

Add price set entity api4 support

Typo fix for Entity Id

Add runImport function

This is required both for the queue fix and for QA fixes on the import classes.

Save different type_id per import

I left it as just contact to start with - but as I've gone further it's clear
we need a type for each import - best done now

Contribution import - tests & fixes on dates, amount

Fixes inconsistent  amount handling - these
are issues that I found through writing unit tests to cover them
The money handling was permitting amounts where the
decimal separator was before the thousand. On the dates
there was a format being handled for some fields
but not others

Extract saveFieldMapping

Merge pull request #23690 from totten/master-queue-visibility

APIv4 - Allow creator to read `UserJob` and `Queue` records

APIv4 - Allow creator to read `UserJob` and `Queue` records

Before
------

* `Queue.get` requires permission `administer queues`
* `UserJob.*` requires permission `access CiviCRM`, but it only
   returns records if where the `created_id` matches current-user

After
-----

* `Queue.get` and `UserJob.*` follow similar rules
* Users with permission `administer queues` can view all
* Users with permission `access CiviCRM` can view items where `created_id` matches current-user

Merge pull request #23670 from colemanw/searchKitAddPerm

SearchKit - Add "administer search_kit" permission

Merge pull request #23684 from colemanw/relationshipCachePermissions

RelationshipCache - Set 'get' permissions

Afform - Add 'administer afform' permission

This permission allow non-admins to compose forms and view submission results.

APIv4 - Use api kernel to validate entity permissions

This allows extensions to expand permissions via the civi.api.authorize event,
instead of assuming that all permissions are hard-coded in the core entity.

SearchKit - Switch nav menu to mgd.php with new permission

Merge pull request #23683 from eileenmcnaughton/import_cont

[Import] [Contribution] Cleanup templates & form variables, following contact pattern

Merge pull request #23685 from colemanw/mixinUpdate

[NFC] Mixin - update version tags and add comment for new version of mgd-php

Use getTransformedValue more & really old code less

Cleanup templates & form variables, following contact pattern

Fix fatal when going back from MapField due to no dataSource

Add import labels fixes that I figured out doing memberhsip

Importantly do_not_import should be added

Merge pull request #23686 from demeritcowboy/primary-ts

dev/core#3481 - Don't translate css classes

don't translate css classes

Mixin - update version tags and add comment for new version of mgd-php

Merge pull request #23680 from eileenmcnaughton/contact_map

Contact import - extract common code, make tags & groups queue-friendly

RelationshipCache - Set 'get' permissions to be the same as for 'Relationship' entity

This gives lesser-permissioned users access to the RelationshipCache entity, for Search Kit.

Merge pull request #23283 from eileenmcnaughton/import_saved_map

[REF] Remove handling for non-existent 'savedMapping' field

Add generic PreProcess

Move setImportStatus to parent

m

Add generic label get function - not used yet

Fix flow for groups & tags

The new way is
- create the tags & groups at the form layer & only the ids
go to the parser - which adds them

This patch should be a nullop in terms of the efficiency of these

Contact import - extract assignments to be used by other forms

Extract common part of MapTable.tpl

SearchKit - Add "administer SearchKit" permission

This permission allows non-admins to use search kit.
Previously the user needed 'administer CiviCRM data' permission.

Fixes dev/core#3457

Merge pull request #23675 from demeritcowboy/test-sequential

[NFC] Failing test for api chain using sequential

Merge pull request #23676 from eileenmcnaughton/white

Reformat whitespace

Merge pull request #22762 from totten/master-queue-api4-alt

(dev/core#1304) Queues - Allow background worker to drive tasks via APIv4

Merge pull request #23520 from eileenmcnaughton/old_code

Deprecate stuff getting super deep into the BAO unformatted

failing test for api chain with sequential

Merge pull request #23666 from eileenmcnaughton/import_combo

Contact Import cleanup - includes fixes to contact matchine

Reformat whitespace

Merge pull request #23672 from seamuslee001/fix_sequential_enforcement

APIv3 - Fix regression in handling chained calls with `sequential`

Merge pull request #23671 from seamuslee001/master

Fix issue #116 api3 chain check_permissions

[REF] Fix issue where forceing sequential broke webform API chained usage

Fix issue #116 api3 chain check_permissions

Civi\Api4\Queue - Add APIs for claiming and running enqueued tasks

CRM_Queue_TaskRunner - Add background-friendly handler for `CRM_Queue_Task`s

SqlParallel - Implement BatchQueueInterface

Before
------

Each of the `CRM_Queue_Queue_*` drivers supports a set of methods for
claiming/releasing one queue-item at a time (eg `claimItem()`,
`releaseItem()`, `deleteItem()`).

After
-----

All drivers still support the same queue-item methods.  Additionally, the
`SqlParallel` driver supports batch-oriented equivalents (`claimItems()`,
`deleteItems()`, etc).

Comments
--------

I initially looked at updating all of the drivers to support queues.  There
were a few obstacles.  Firstly, batched-claims seem semantically
questionable for queues that run 1-by-1 (`Sql`, `Memory`).  Secondly, there
are a few extensions in contrib that extend these classes and override
methods (consequently, they're looking for stable signatures).

The approach here seemed to resolve those two concerns in an OOP-safe way:
define an optional interface (`BatchQueueInterface`) which can be used to
mark enhanced functionality on queues where it makes sense (eg
`SqlParallel`).

CRM_Queue_Queue_* - Respect `$queueSpec['lease_time']` (if given)

Before: The lease-time is one of the following:

1. A value requested at runtime
2. The constant 3600

After: The lease-time is either supplied as

1. A value requested at runtime
2. A value configured for the queue
3. The constant 3600

CRM_Queue_Queue_* - Respect `$queueSpec['retry_interval']` (if given)

Background:

* A queue runner should call `releaseItem()` if it tries and aborts some task.
* The `retry_interval` is defined as the extra time to wait before trying again.

Before: The `releaseItem()` always releases for immediate execution.

After: The `releaseItem()` checks `retry_interval`.  If it's set, then it
will add an extra delay before retrying.

CRM_Queue_Queue_* - Track and report `run_count` for each item

Before: Whenever you `claimItem()` from the queue, it marks the item `release_time`.

After: Whenever you `claimItem()` from the queue, it marks _both_ the
`release_time` and the `run_count`.

Comments:

* This is the basis for enforcing a `retry_limit` policy.

* This doesn't require any extra queries or joins - it fits into the
  existing update query.

CRM_Queue_Queue_* - Add fetchItem($id)

Note: The return types are a bit wonky here.  Unfortunately, as I recall,
the original specification for all the methods here allowed backend-specific
return types -- anti-standardized return-types.

CRM_Queue_Queue_* - Add isActive() and setStatus()

Merge pull request #23646 from seamuslee001/improve_get_coordinates

[REF] Improve Get Coordinates by supporting other geocoding providers…

Add in unit test of getCoordinates Address action and update TestProvider to be like the Google provider change

Fix Tear down of geoProvider setting

Merge pull request #23668 from colemanw/civiGrantPerm

CiviGrant - Add prefix to permission label

CiviGrant - Add prefix to permission label

Merge pull request #23667 from totten/master-queue-status-error

(dev/core#1304) Queues - Define 'status' and 'error' columns

Do not rely in init to set whether address parsing is on

Remove now-unused getActiveFields

Remove a couple of unused params

Stop setting now-unused updateWithId

Remove transitional getMetadataParams

Remove now-unused function

Move function to the only class that still calls it

Move isErrorInCustomData to shared class

Fold getParams into getMapped row

No point having a separate  line function

Remove function that no longer does anything

This is now only checking booleans in a way that duplicates getTransformedValue

Cleanup unparsed address message handling

Contact import - reduce over-formatting

Extract create relationship

Remove always true if

Only call getParams once

Remove code that handled now-changed relationship key

Note this code is no longer called by contact import, and the others do not pass
in relationship key - so we can remove rather than fix

Fix Import related contact stealing

Handle error when creating related contact

This addresses the e-notice identified here
https://github.com/civicrm/civicrm-core/pull/23643#discussion_r887406505

I believe the bug report in that thread was a variant of the e-notice. Ie the import()
function was failing to catch an exception & it was bubbling up to run()

While there is no support currently for calling import()
outside of run() - the intent is to replace run() with something
more sane - which WILL be callable from the outside (likely
via api).

The right behaviour for import() is to catch all errors

Remove unused getting & setting (copy & paste)

Import flow - separate out 'validate' function from 'run'

(NFC) Update stale comments

Merge pull request #23616 from pradpnayak/dev2540-1

Print report or export report if user have access report permission

Civi::queue(...$queueSpec) - Accept the 'status' and 'error' options

Note: We only enforce this requirement for queues that use the `runner`
option.  Older queue-users may not specify a `runner` -- in which case
they're responsible for establishing their own runner, and their runner
problem doesn't care what is specified here.

civicrm_queue - Backfill "status" and "error" columns

civicrm_queue - Add 'status' and 'error' columns

Merge pull request #23657 from colemanw/fixGetFieldsWithNoSubType

[UNRELEASED REGRESSION] APIv4 - Fix GetFields to return custom fields with no sub-type

APIv4 - Fix GetFields to return custom fields with no sub-type

Ensures unconditional custom fields are always present.

Merge pull request #23653 from eileenmcnaughton/import_going

Remove no-longer-used function 29 points

Merge pull request #23588 from eileenmcnaughton/import_soft

[Import] Cleanup Contribution flow - esp with regards to soft credits

Clean up preview screen code