Merge pull request #17431 from civicrm/5.26

5.26 to masterr

Merge pull request #17418 from eileenmcnaughton/trash

dev/core#1784 fix regression on restore contacts button not working.

Merge pull request #17278 from mattwire/paymentcreateorderreference

Support order_reference param in API3 Payment.create

Merge pull request #17147 from kartik1000/Fix#1650

dev/core#1650 Updated Financial Type title to Financial Type ID

Merge pull request #17143 from mattwire/donthidedisabledmemberships

dev/membership#24 Don't hide disabled memberships from the contact membership tab

Support order_reference param in Api3 Payment.create

Merge pull request #17419 from eileenmcnaughton/groups

dev/core#1745 Fix caching bug when adding a contact to a group

Merge pull request #17192 from jmdh/log_config

Configurable logfile size and hashing

Merge pull request #17405 from eileenmcnaughton/email

[REF] Extract getAttachments

Merge pull request #17415 from eileenmcnaughton/recur

Remove always-true if block.

Merge pull request #17417 from eileenmcnaughton/ev

[REF] Preliminary cleanup for #17339

dev/core#1745 Fix caching bug when adding a contact to a group

dev/core#1784 fix regression on restore contacts button not working.

This should fix https://lab.civicrm.org/dev/core/-/issues/1784

I think the message from deleting multiple contacts is a bit wonky, but no worse

[REF] Preliminary cleanup for #17339

This merges changes to code around event cart to simplify the larger PR

Remove always-true if block.

We actually already removed the 'else' on the basis this is always true. This removes the whole
block & reformats

Merge pull request #17414 from totten/master-settime

dev/core#1781 - CRM_Utils_Time - Allow TIME_FUNC to better isolate timing bugs

Merge pull request #17380 from seamuslee001/symfony_4_4

Allow for installation on Symfony 4.4

dev/core#1781 - CRM_Utils_Time - Allow TIME_FUNC to better isolate timing bugs

Overview
--------

`CRM_Utils_Time` is a helper for (a) getting the time and (b) setting the time
to a mocked value (for testing purposes).

Timing bugs can manifest as flaky tests.

This provides a new option, `TIME_FUNC`, which may help isolate some timing
bugs (provided the test consistently uses `CRM_Utils_Time`).

Before
------

When using `CRM_Utils_Time::setTime()`, it simulates a change in the clock, and
the clock is allowed to proceed at a natural/real pace.

This policy aims to be representative of real-world execution (wherein the
clock also executes at a natural pace).  However, consider that the pace at
which the code executes depends on numerous factors (CPU speed, memory
managers, system-load, system-caches, the specific code/use-case, etc).  If
your use-case relies on multiple calls to `getTime()`, and if you run the
use-case in repeated trials, then you may find somewhat chaotic variations
in the exact values of `getTime()`.

Consequently, if there is a timing-sensitive bug, you may find that some trials
pass while others fail, and it is impossible to reproduce the natural
circumstance of the failure.

After
-----

By default, `CRM_Utils_Time` still performs simulations where the clock
proceeds a natural/real pace.

However, if you see flaky results and suspect a timing bug, you can re-run the
test suite with alternative time functions (`TIME_FUNC`):

```bash
TIME_FUNC=frozen      ## every call to getTime() yields the same, static value
TIME_FUNC=natural     ## every call to getTime() progresses in tandem with the real/natural clock
TIME_FUNC=linear:333  ## every call to getTime() progresses by 333ms
TIME_FUNC=prng:333    ## every call to getTime() progresses by a random interval, up to 333ms
```

Now "time" is not so natural or chaotic - it's more synthetic and
deterministic, which can help with debugging.

For example, consider `CRM_Core_BAO_ActionScheduleTest` and its functions
`testMembershipEndDateRepeat`, `testEventTypeEndDateRepeat`, and
`testRepetitionFrequencyUnit` -- which (anecdotally) appear to be flaky.  We
can run one of these tests with deterministic time functions:

```bash
for TIME_FUNC in frozen prng:333 prng:666 prng:1000 prng:1500 linear:333 linear:666 linear:1000 ; do
  export TIME_FUNC
  echo
  echo "Running with TIME_FUNC=$TIME_FUNC"
  env CIVICRM_UF=UnitTests phpunit6 tests/phpunit/CRM/Core/BAO/ActionScheduleTest.php --filter testRepetitionFrequencyUnit
done
```

We get different results depending on the `TIME_FUNC`. I've done multiple trials with each `TIME_FUNC`, and
results have been stable so far:

* PASSING: `frozen` `prng:333` `prng:666` `linear:333` `linear:666` `linear:1000` `linear:1500`
* FAILING: `prng:1000` `prng:1500`

This doesn't specifically tell you what the bug is.  It could be a real bug
in the main logic or less important bug in the test logic.  However, you can
now *reproduce it* (locally, in an IDE, etc) by setting `TIME_FUNC=prng:1500`.

Merge pull request #17406 from eileenmcnaughton/email2

[REF] Pass params not-by-reference

Merge pull request #17411 from mattwire/apivactivity

Use now instead of date for activity API3 spec

Merge pull request #17409 from MikeyMJCO/patch-5

Typo Fix

Use now instead of date for activity API3 spec

Fix Typo on Search Settings page.

Merge pull request #17407 from eileenmcnaughton/recur

[REF] Remove unreachable block.

(REF) CiviEventDispatcher - Replace addListenerService()

This function was previously provided by inheriting from
ContainerAwareEventDispatcher, but that class isn't available in Symfony
4.4.

This is a work-a-like implementation.

[REF] Remove unreachable block.

This code was duplicated onto this form for cleanup. Since this is the
renewal form there should always be a current membership. I haven't removed the IF yet
for readability but that would follow on

Merge pull request #17400 from eileenmcnaughton/recurr

[REF] duplicate function.

[REF] Pass params not-by-reference

This is only called by one place in core + a deprecated unused class. The details are not used again

Extract getAttachments

Merge pull request #17203 from artfulrobot/artfulrobot-cleanup-job-improvements

Fix logic for job log cleanup and make SQL safer

Merge pull request #17163 from jitendrapurohit/core-1731

dev/core#1731 - Unable to import relationship

[REF] duplicate function.

This seems like the opposite of good principles but I've found that when facing a nasty chunk of code it's
often better to copy it & then start to clean it up, knowing that other places are not affected & not
having as much complexity to deal with

Merge pull request #17399 from seamuslee001/custom_field_fail_test

APIv4 - fix returning custom field values with API4

Merge pull request #17377 from artfulrobot/artfulrobot-remove-incorrect-calls-to-request-retrieve

Remove $_REQUEST passed into CRM_Utils_Request::retrieve NFC

Merge pull request #17402 from artfulrobot/artfulrobot-core-issue-1773

Fix core#1773 unsubscribe form causes errors if submitted twice

Merge pull request #17404 from eileenmcnaughton/master

5.26 to master

Merge branch '5.26' of https://github.com/civicrm/civicrm-core

Merge pull request #17292 from eileenmcnaughton/prop

Fixes a regression when cancelling a recurring with no processor_id

Merge pull request #16629 from WeMoveEU/core-1620

dev/core#1620 - Add campaign_id to template for alterMailContent hook

Clean up calls to CRM_Utils_Request::retrieve

Merge pull request #17393 from eileenmcnaughton/to

[REF] Code simplification & unit test on suppressed emails in task

Merge pull request #17391 from mattwire/createEmailActivityclarity

NFC Add a bit more clarity to createEmailActivity function

Fix core#1773 unsubscribe form causes errors if submitted twice

APIv4 - skip acl clause for 1-1 custom fields

Merge pull request #17388 from seamuslee001/domain_tokens_message_template_admin_interface

Add in domain tokens onto the Message Template admin interface

Merge pull request #17253 from mattwire/utf8convertblocksize

utf8mb4 - If strict mode enabled query will fail if KEY_BLOCK_SIZE is not 0

Permit empty processorID

On deploying this code I'm seeing InvalidArgumentException: 'processorID field has max length of 255'

dev/core#1731 - Unable to import relationship

Fix additional problem mentioned by demeritcowboy

Merge pull request #17178 from mattwire/simplifyrecurtemplates

Simplify recurring contribution template inheritance

Merge pull request #17398 from eileenmcnaughton/mem_recur

[REF] Pass an array of correct params to the function to create a recurring contribution.

[REF] Add in unit test of returning custom field values with API4

[REF] Pass an array of correct params to the function to create a recurring contribution.

This is getting away from 'passing whatever params we have' to 'passing the right params', which makes it easier
to see what can and can't be altered.

Note that from https://issues.civicrm.org/jira/browse/CRM-17636 we can see that is_email_receipt is not set
for payment purposes but contributionRecur purposes and since it's not a propertyBag param we can leave it off
here

Merge pull request #17395 from seamuslee001/update_DAO

Update DAO and L10n Schema file

Update DAO and L10n Schema file

Merge pull request #17394 from colemanw/api4CustomJoins

APIv4 - support custom entity joins

Merge pull request #17363 from eileenmcnaughton/price_field

Api4: Add Price api entities

[REF] Code simplification & unit test on suppressed emails in task

Merge pull request #17118 from lcdservices/dev-core-1722

dev/core#1722 Allow for first name and last name to be searched on

Merge pull request #17244 from totten/master-preboot

dev/translation#39 - Fix `core:install --lang`. Realign boot plugins.

Merge pull request #17392 from eileenmcnaughton/ct

Remove unused 'reset' param, other NFC tidy up:

Merge pull request #17364 from eileenmcnaughton/price_pseudo

Fix pricefield pseudoconstant.

PriceFieldValue - Make name and label required in DB

Fix notice and redundant code in PriceFieldValue BAO

Add Price api entities

Api4 entities for Price, PriceField & PriceFieldValue.

All 3 entities are accessed in the PriceFieldTest

Merge pull request #17390 from mattwire/api3activitydatetimedefault

Set default using spec for activity_date_time

Merge pull request #17386 from seamuslee001/dev_core_1775

dev/core#1775 Fix fee amount reversals when doing a change of financi…

Remove unused 'reset' param, other NFC tidy up:

APIv4 - Fix explicit joins to custom entities

Merge pull request #17387 from eileenmcnaughton/ct

Use apiv4, cache infra for basicTypes

APIv4 - Improve joins test coverage

Use apiv4, cache infra for basicTypes

I came across this as using an old weird pattern accessing the DAO. On looking it made most
sense just to switch to an apiv4 call. The caching was not convoluted but effectively
used an array cache, if loaded, and the array or Redis or sql cache if not. This
is the same as using the 'metadata' or 'contactTypes' cache so I switched to the latter.

I was inclined towards the former as I lean towards thinking this metadata all belongs in one - but there
is already another function in the same class going to the latter.

Add a bit more clarity to createEmailActivity function

Set default using spec for activity_date_time

Merge pull request #17228 from mattwire/fixmultilingualoptiongroups

Fix adding languages in multilingual

Merge pull request #17308 from colemanw/BAOcleanup

Various BAO create/add cleanups to use writeRecord()

Merge pull request #17348 from eileenmcnaughton/payex

Remove instantiation of transaction from payment express ipn class

Add in domain tokens onto the Message Template admin interface

Merge pull request #17381 from eileenmcnaughton/dao

Remove null code

Merge pull request #17384 from eileenmcnaughton/abort

Remove validation bypass

Merge pull request #17383 from eileenmcnaughton/ids

[NFC] Remove some more of the old  cvs blocks

dev/core#1775 Fix fee amount reversals when doing a change of financial type

Remove validation bypass

I was trying to understand why executeQuery allows validation to be bypassed. That seems
intuitively like something that should be handled by the calling function. This is one of the few
places that calls it - but I can't see a reason for it to by pass validation....

My best guess is that a parameter could legitimately be NULL - and the group properly is the
only one that seems to be a candidate

I also note the case for passing i18nRewrite seems dubious as the table has no localisation

[NFC] Remove some more of the old  cvs blocks

Remove null code

Merge pull request #17358 from seamuslee001/d8_prevnext_cache_test_fix

[TEST] Fix test failure on Drupal 8 E2E PrevNextTest by only includin…

Merge pull request #16541 from bhahumanists/subtype-issue-991

#991 subtypes not filled in when editing a smart group

Merge pull request #17379 from colemanw/del

Don't exclude deleted contacts from ACL cache when user has permission

Use Syfony 3.4 as minimum now

WIP allow for installation on Symfony 4.4

Merge pull request #17318 from agh1/aria-hidden-icon

Make all icons aria-hidden

Merge pull request #17378 from agh1/cleanup-feed-urls

CiviEvent Dashboard and Manage Events: clean up disused url template vars

ACL - Don't exclude deleted contacts from ACL cache when user has permission to see them

Test failures seem to be due to assumptions of the test.
Removed via Hume's guillotine

When the user has 'access deleted contacts' permission, deleted contacts
should not be excluded from the ACL cache.

CiviEvent Dashboard and Manage Events: clean up disused url template vars

Add aria-hidden to extant icons

Add aria-hidden to icon helpers

Merge pull request #17282 from agh1/calendar-icons

Replace ical and office calendar image icons

Merge pull request #17345 from eileenmcnaughton/ev_batch

Preliminary cleanup on form

Fix pricefield pseudoconstant.

The price field turns out not to be returning pseudoconstant fields for 2 reasons
1) the label field is defined but the name field is not
2) any price fields with no domain are filtered out. In my single domain db this is
all of them.

I think we can safely understand NULL domain_id as 'not restricted by domain'. For some tables
(membershipType) it is a required field but for PriceField it is not.

I would be inclined to say it should be required less often. However, where it is required thenn
the OR IS NULL should never be true

Merge pull request #17376 from artfulrobot/artfulrobot-public-status-messages

Public status messages should show correct class/icon like error

Merge pull request #17373 from eileenmcnaughton/post_simp

[REF] Minor code simplification