Merge pull request #20661 from seamuslee001/dev_core_2604

dev/core#2604 Apply upstream patch to allow single quotes in return p…

dev/core#2604 Apply upstream patch to allow single quotes in return patch emails

Merge pull request #20645 from agh1/5.39.0-releasenotes-initial

5.39.0 release notes initial run

5.39.0 release notes: added boilerplate

5.39.0 release notes: raw from script

Merge pull request #20610 from colemanw/fixApiOrder

dev/report#68 Fix smart group crash when ordering by aggregated column

SearchKit - Fix smart group crash when ordering by aggregated column

Fixes dev/report#68

Merge pull request #20609 from colemanw/readOnlyApis

APIv4 - Make LineItem, EntityFinancialTrxn and FinancialTrxn read-only

Merge pull request #20611 from eileenmcnaughton/539_o

Fix unreleased api change to more logical variant

test failure fix

Fix unreleased api change

An unreleased change adds the entity ids for membership to the return values.

However, on digging into further cleanup I realised that the entity ids are in
the line item array, along with other values which may or may not be useful,
and it's cleaner, more complete and more maintainable to return the line_items.

It requires an extra foreach loop in the calling code but
I don't see that as a downside.

We should change this in the rc so what is released is consistent

Test cover in testSubmitRecur & other tests in CRM_Member_Form_MembershipTest

APIv4 - Make LineItem, EntityFinancialTrxn and FinancialTrxn read-only

Adds a new ReadOnly trait which annotates write methods as @internal
and sets write permissions to ALWAYS_DENY.

This effectively hides the write actions from the API Explorer,
and restricts use of the write methods to when `checkPermissions = FALSE`.

Merge pull request #20580 from demeritcowboy/upgrade-table

dev/core#2649 - Make 5.39 upgrade more robust

be re-runnable and don't force utf8mb4

Merge pull request #20571 from demeritcowboy/regen-539

Update civicrm_generated (5.39 version)

update civicrm_generated

Merge pull request #20567 from seamuslee001/fix_unittest_warning

[NFC] Fix phpunit9 deprecation issues on using assertType instead of …

[NFC] Fix phpunit9 deprecation issues on using assertType instead of more explicit assertIsArray or AssertIsInt

ext/*/info.xml - Update version

Set version to 5.39.beta1

Merge pull request #20532 from eileenmcnaughton/f_add

Fix Financial item test to validate Financials

Merge pull request #20552 from eileenmcnaughton/fin

Mark DetailTest as having invalid financials

Merge pull request #20533 from totten/master-api4-omnivent

Introduce civi.api4.authorizeRecord and civi.api4.validate

Merge pull request #20564 from eileenmcnaughton/report

dev/core#2646 juice up the error a little

Merge pull request #20493 from jaapjansma/dev_membership_37

Fix for dev/membership#37

Merge pull request #20563 from colemanw/array_key

REF - Cleanup array key checking to use array_key_exists

dev/core#2646 juice up the error a little

On explaining the issue in https://lab.civicrm.org/dev/core/-/issues/2646 not
having the name of the failed entity in the error message seemed like a pain point

Expand CustomValue::_checkAccess()

Before: Reports that access is available based one delegated-check for `Contact.update`

After: Reports that access is available based on multiple checks:

  1. The user must have access to the relevant CustomGroup (by way of ACL or perms)
  2. The user must have acces to the underlying entity (by way of checkAccessDelgated)

Comments: I did a bit of testing with `Custom_*.get`, and it does seem to
give access to single-value CustomGroups. So I removed a comment about
multi-value CustomGroups and expanded to a larger list of entities.

Merge pull request #20562 from colemanw/shortArrayContactTask

[REF] CRM_Contact_Task - Use short array syntax

Merge pull request #20059 from samuelsov/dev/core#2479

dev/core#2479 Adjust generic copy for localizable fields

REF - Cleanup array key checking to use array_key_exists

Before: in_array($foo, array_keys($bar))
After: array_key_exists($foo, $bar)

CRM_Contact_Task - Use short array syntax

Partially rollback changes to `$userID`. Merely lay groundwork for future update.

Context: AuthorizeEvent did not allow tracking userID.  AuthorizeRecordEvent
is spec'd to track userID.  This is a step toward supporting checks when the
target user is non-present (ie not the user in the browser/session).
However, this step is not *sufficient* - additional work is also needed to
support non-present users.

Original: AuthorizeEvent and AbstractAction::isAuthorized did not report
current userID.  However, the wiring for AuthorizeRecordEvent is spec'd
to allow userID.

Previous: Made a breaking change in the signature of
AuthorizeEvent/AbstractAction::isAuthorized() to report userID.  However,
even with the break, it's not clear if this is the best approach.

Revised:
* Both AuthorizeEvent and AuthorizeRecordEvent report `userID`. This allows consumers to start using
  this information -- laying the groundwork for future changes.
* If an existing event-consumer ignores the `userID`, it will still work as correctly as before. This is
  because we guarantee that the userID matches the session-user.
* The signature of `AbstractAction::isAuthorized()` matches its original. No BC break. However, the method
  is flagged `@internal` to warn about the prospect of future changes.
* In the future, after we do more legwork on to ensure that the overall
  system makes sense, we may flip this and start doing non-present users.

Merge pull request #20560 from colemanw/searchable

APIv4 - Make the @searchable flag explicit for OptionList type entities.

Merge pull request #20545 from seamuslee001/hook_test_fix_part1

[php8-compat] Partial Fix of hook tests for php8

Merge pull request #20548 from eileenmcnaughton/group

Fix the populateTempTable to be more direct

APIv4 - Make the @searchable flag explicit for OptionList type entities.

The OptionList trait may or may not be useful in future, maybe we'll just get rid of it if not.
But I think it's better not to couple it with the @searchable flag, as that's not exactly the same thing.

Merge pull request #20557 from demeritcowboy/test-turkish

[NFC/Unit Test] Failing test for civicrm-packages PR 324

[php8-compat] Partial Fix of hook tests for php8

Merge pull request #20542 from seamuslee001/hook_test_fixes_2

[php8-compact] Add in guards into various templates to fix hook tests…

Mark DetailTest as having invalid financials

This class sets up in a weird way it will never pass financial checks

Merge pull request #20549 from seamuslee001/php8_report

[php8-compact] Fix Report tests failing on php8

Merge pull request #20540 from seamuslee001/tcpdf_upgrade

[php8-compat] Upgrade TCPDF version to support php8

Merge pull request #20558 from colemanw/searchKitRelationships

SearchKit - allow searches based on relationships

Merge pull request #20559 from colemanw/wordReplacement

dev/core#2486 - Add WordReplacement APIv4 entity

unit test for db insert in TR locale

dev/core#2486 - Add WordReplacement APIv4 entity

Merge pull request #20555 from ahed-compucorp/dev/core#1744-afform

(REF) dev/core#1744 - Simplify Afform event naming

SearchKit - Enable search for relationships as base entity

This makes it possible to use a bridge entity for the base of a search
(only if it is annotated @searchable primary|secondary)

It also ensures that fields needed for links are available in search displays
(previously it ensured ID was returned but some links require other fields as well)

SearchKit - Fix error when trying to update operator in ON clause

dev/core#1744 - Simplify afform event naming

Merge pull request #20530 from eileenmcnaughton/val

Fix v3 api payment test to validate on postAssert

Fix the populateTempTable to be more direct

It's currently using a round-about method to populate the table which goes through
apiv3 and the query object before winding up at the load function
which makes the same 3 calls now being called directly

Note the tests api_v3_ReportTemplateTest as well as the apiv4 tests
cover this function

[php8-compact] Fix Report tests failing on php8

Convert hook_civicrm_checkAccess to civi.api4.authorizeRecord

(REF) Consolidate calls to `Hook::checkAccess()`. Define initial value `$granted=NULL`.

Regarding invocations:

* Before: There are three different ways `Hook::checkAccess()` may be invoked, e.g.
    * `CRM_Core_DAO::checkAccess()`, which sprinkles in a call to `static::_checkAccess()` before `Hook::checkAccess()`
    * `CRM_Core_BAO_CustomValue::checkAccess()`, which sprinkles in a call to `checkAccessDelegated()` after `Hook::checkAccess()`
    * `CoreUtil::checkAccessRecord()`, which delegates to one of the above (if appropriate) or else calls `Hook::checkAccess()`
    * `CoreUtil::checkAccessRecord()` is the most general entry-point
* After: There is one way to invoke `Hook::checkAccess()`, and it incorporates some qausi/unofficial listeners.
    * `CoreUtil::checkAccessRecord()` is still the most general entry-point.
    * `CoreUtil::checkAccessRecord()` fires `Hook::checkAccess()` unconditionally
    * `CoreUtil::checkAccessRecord()` calls `CRM_Core_DAO::checkAccess()` and/or `CRM_Core_BAO_CustomValue::_checkAccess()`,
      which are now quasi/unofficial listeners for the hook

Regarding initialization and passing of `$granted`:

* Before: The value of `$granted` defaults to `TRUE`. Listeners may flip between `TRUE`/`FALSE`. The value of `$granted` is passed to each listener.
* After: The value of `$granted` defaults to `NULL`. Listeners may flip to `TRUE`/`FALSE`. If it remains `NULL` until the end, then it's treated as `TRUE`.
  The value of `$granted` is not passed to each listener.
* Comment: IMHO, this is an overall simplification.  If you pass in `$granted`, then each listener has to decide
  whether/how to mix the inputted value with its own decision.  (Ex: Should it be `return $grantedInput &&
  $myGrantedDecision` or `return $grantedInput || $myGrantedDecision` or `return $myGrantedDecision`? That choice appears to be
  carefully informed by the context of what steps ran before.) In the updated protocol, each `_checkAccess()` a smaller scope.

(REF) Change CoreUtil::checkAccess() to CoreUtil::checkAccessRecord()

This change invovles a few things:

1. Pass the `AbstractAction $apiRequest` instead of the tuple `string $entity, string $action`.

2. There are a couple cases where we don't actually want to re-use the current `$apiRequest`.
   Switch these using `checkAccessDelegated()`.

3. Always resolve the userID before calling `checkAccessRecord()`. `$userID===null` can mean
   two different things (ie "active user" vs "anonymous user").  By
   resolving this once before we do any work with `checkAccess()`, we ensure that it will
   consistently mean "anonymous user" (even if there are multiple rounds of delegation).

3. Change the name from `checkAccess()` to `checkAccessRecord`. There are a few flavors of
   `...checkAccess...`, and this makes it easier to differentiate when skimming.

(REF) Consistently pass `string $entity` to all flavors of checkAccess

1. This removes the special-case where `CustomValue::checkAccess()` needs an extra parameter
   to identify the target entity.
2. This lines things up to do the swap from `_checkAccess()` to a hook/event listener

(REF) Isolate calls to $bao::checkAccess. Prefer CoreUtil::checkAccessDelegate.

Code paths:

* Before: There are many callers to `$bao::checkAccess()`.
* After: There is only one caller to `$bao::checkAccess()` (ie `CoreUtil`).

Delegation mechanics:

* Before: When delegating access-control to another entity, various things invoke  `$bao::checkAccess()`.
* After: When delegating access-control to another entity, various things invoke `CoreUtil::checkAccessDelegated()`

CoreUtil::checkAccess() - Accept optional argument $userID

Technically, there is an inheritable contract-change here - modifying
`isAuthorized()` to accept the current user ID. However, I grepped
universe for references:

```
[bknix-min:~/bknix/build/universe] grep -ri isAuthorized $( find -name Civi )
```

And all references were internal to `civicrm-core.git`.  This makes some
sense, given the available alternative extension-points
(`Civi\Api4\$ENTITY::permissions()` and `civi.api.authorize`).

Merge pull request #20541 from eileenmcnaughton/alpha_trigg

Sort trigger data before processing

[php8-compact] Add in guards into various templates to fix hook tests in php8

Sort trigger data before processing

At some point these stopped being consistently alpha sorted - which doesn't matter
if you are just letting Civi run the trigger updates but if you output it
and diff it this inconsistency is a problem

Subset of https://github.com/civicrm/civicrm-core/pull/20472
in the hope of getting this merged

https://github.com/civicrm/civicrm-core/pull/20471 also grooms this output for diffing
albeit only in an edge case

Merge pull request #20539 from seamuslee001/group_custom_search_fix

[php8-compat] Fix Include/Exclude Group Custom Search Tests by better…

Merge pull request #20537 from colemanw/searchKitLinkFix

SearchKit - Fix link target selection

[php8-compat] Upgrade TCPDF version to support php8

Merge pull request #20538 from seamuslee001/fix_resource_test

[php8-compat] Fix Resources Test issue due to undefined array key add…

[php8-compat] Fix Include/Exclude Group Custom Search Tests by better handling empty arrays on exclusions in the custom search

[php8-compat] Fix Resources Test issue due to undefined array key addCacheCode

Merge pull request #20535 from MikeyMJCO/patch-12

Switch table mapping to square bracket array syntax.

SearchKit - Fix link target selection and move link templating out of controller

Merge pull request #20534 from demeritcowboy/dupedao

Dedupe DAO is out of date

Switch table mapping to square bracket array syntax.

Merge pull request #20525 from seamuslee001/fix_date_tests

[php8-compat][REF] Fix Date unit tests in php8 by passing in 00 inste…

fix hash

(REF) AuthorizeEvent - Extract AuthorizedTrait

The primary purpose of this is to provide a trait (`AuthorizedTrait`) to
describe the common semantics of of coarse-grained authorization check and
the upcoming fine-grained authorization check.

The extracted trait makes a few small changes:

* Change the default value from `FALSE` to `NULL`.  In grepping universe for
  consumers of `isAuthorized(0`, I could only find consumers that used
  bool-ish values.  So this should be the same for them.  However, for
  future cases, it will allow some distinction between NULL/FALSE.

* Use more type-hints. The type should be nullable-boolean.

* Mutators should be amenable to fluent style (e.g. `$event->authorize()->stopPropagation()`).

ConformanceTest - Add support for read-only entities

Merge pull request #20528 from colemanw/exportFix2

dev/report#67 Fix standalone export classes

Fix Financial item test to validate Financials

The only material change here is to mark   /**
  protected $isValidateFinancialsOnPostAssert = FALSE

As I don't think this test is creating valid financial data 'on purpose'

Merge pull request #20526 from seamuslee001/required_after_optional_more2

[php8-compact][REF] Fix another couple of places where by there are r…

Merge pull request #20527 from seamuslee001/payment_token_fix

[php8-compact][REF] Fix api_v3_PaymentTokenTest to work on php8

Merge pull request #20524 from seamuslee001/fix_case_custom_tests

[php8-compat][REF] Fix Case and Custom data tests by adding guards in…

Fix v3 api payment test to validate on postAssert

This fixes the test that was failing validation & moves the validation to class level

Fix standalone export classes

This fixes an 'access denied' error on standalone export forms,
caused by renaming the php classes.

Fixes dev/report#67

[php8-compact][REF] Fix api_v3_PaymentTokenTest to work on php8

[php8-compact][REF] Fix another couple of places where by there are required variables in php function declaration after optional ones

[php8-compat][REF] Fix Date unit tests in php8 by passing in 00 instead of null for hours,minutes and seconds

[php8-compat][REF] Fix Case and Custom data tests by adding guards into templates

Merge pull request #20357 from eileenmcnaughton/tax_add

Fix for tax rates being mangled on contribution update

Merge pull request #20495 from eileenmcnaughton/lines

Use line items to look up memberships

Merge pull request #20521 from eileenmcnaughton/validate

Test fix up for AdditionalPaymentTest

ConformanceTest - Add coverage for checkAccess

Implement checkAccess for EntityTags and Notes

Implement checkAccess for custom entities

Implement _checkAccess for Contact BAO and related entities (email, phone, etc.)

Implements the _checkAccess BAO callback for contacts and the related entities
listed in _civicrm_api3_check_edit_permissions.

Switch APIv4 to stop using _civicrm_api3_check_edit_permissions
now that the checks are implemented in the BAO.

Also fixes a couple permission check functions to respect $userID variable.

APIv4 - Add checkAccess action

Call checkAccess action before creating, updating or deleting

Add BAO function and hook for checkAccess

This adds a static ::checkAccess function to all BAOs, which dispatches to
a protected _checkAccess function in that BAO, as well as a new hook:
hook_civicrm_checkAccess($entity, $action, $record, $contactID, &$granted)

UFJoin - Update addSelectWhereClause

DAOCreateAction - Fill defaults before validating write

FinancialItem - Provide defaults so that stricter ConformanceTest will pas

Context: There were three separate, concurrent PRs - two added more tests
and events to APIv4, and the third added a new entity (FinancialItem).
FinancialItem got merged first.  I'm working reconciling the other two...
and discovered that `FinancialItem` isn't passing.

Problem: When the `ConformanceTest` creates a `FinancialItem`, it doesn't
fill in valid values for `entity_table,entity_id`. These values are
important to the access-control criteria used in reading-back data.