Merge pull request #17441 from eileenmcnaughton/email2

[REF] Simplify contributionIDs code

Merge pull request #17439 from seamuslee001/karma_upgrade_162020

[NFC] Update Karma to be latest version

Merge pull request #17436 from eileenmcnaughton/email

[REF] Simplify subject code.

[REF] Simplify contributionIDs code

Merge pull request #17435 from seamuslee001/dev_membership_24_revert

Revert Matt's fix for dev/membership#24 as it is incomplete and add a…

[NFC] Update Karma to be latest version

Merge pull request #17420 from seamuslee001/request_guzzle

[REF] Refactor to switch from pear HTTP Request class to using Guzzle

Merge pull request #17437 from demeritcowboy/tests-for-deleterestore

[NFC/TEST] dev/core#1784 - Unit tests for contact delete/restore

Merge pull request #17421 from seamuslee001/more_560

dev/core#560 Replace various CRM_Core_Error::fatal with statusBounces…

Merge pull request #17328 from eileenmcnaughton/mailing_seach

Make is_archived work as a url-search parameter

tests for contact delete/restore

[REF] Simplify subject code. Note sendEmail
is only called from this, some tests, and a deprecated function (unused in core) so we can change
it to not pass by reference safely

Revert Matt's fix for dev/membership#24 as it is incomplete and add a unit test in to cover the financial type acls side of the code

Merge pull request #17434 from demeritcowboy/bad-user

dev/core#1791 - E_WARNINGS when viewing list of pledge payments

Merge pull request #17432 from mattwire/repeattransactionpendingdefault

Make 'Pending' the default status for Contribution.repeattransaction

bad user

Make 'Pending' the default status for Contribution.repeattransaction as that is the preferred way to call this API

Merge pull request #17220 from eileenmcnaughton/lines

Fetch line items from correct contribution when repeating a contribution

Merge pull request #17431 from civicrm/5.26

5.26 to masterr

Merge pull request #17418 from eileenmcnaughton/trash

dev/core#1784 fix regression on restore contacts button not working.

Fix use of static var breaking tests

Fetch latest contribution id for building line items

Merge pull request #17278 from mattwire/paymentcreateorderreference

Support order_reference param in API3 Payment.create

Merge pull request #17147 from kartik1000/Fix#1650

dev/core#1650 Updated Financial Type title to Financial Type ID

Merge pull request #17143 from mattwire/donthidedisabledmemberships

dev/membership#24 Don't hide disabled memberships from the contact membership tab

Support order_reference param in Api3 Payment.create

Merge pull request #17419 from eileenmcnaughton/groups

dev/core#1745 Fix caching bug when adding a contact to a group

dev/core#560 Replace various CRM_Core_Error::fatal with statusBounces and Exceptions

[REF] Refactor to switch from pear HTTP Request class to using Guzzle

Merge pull request #17192 from jmdh/log_config

Configurable logfile size and hashing

Merge pull request #17405 from eileenmcnaughton/email

[REF] Extract getAttachments

Merge pull request #17415 from eileenmcnaughton/recur

Remove always-true if block.

Merge pull request #17417 from eileenmcnaughton/ev

[REF] Preliminary cleanup for #17339

dev/core#1745 Fix caching bug when adding a contact to a group

dev/core#1784 fix regression on restore contacts button not working.

This should fix https://lab.civicrm.org/dev/core/-/issues/1784

I think the message from deleting multiple contacts is a bit wonky, but no worse

[REF] Preliminary cleanup for #17339

This merges changes to code around event cart to simplify the larger PR

Remove always-true if block.

We actually already removed the 'else' on the basis this is always true. This removes the whole
block & reformats

Merge pull request #17414 from totten/master-settime

dev/core#1781 - CRM_Utils_Time - Allow TIME_FUNC to better isolate timing bugs

Merge pull request #17380 from seamuslee001/symfony_4_4

Allow for installation on Symfony 4.4

dev/core#1781 - CRM_Utils_Time - Allow TIME_FUNC to better isolate timing bugs

Overview
--------

`CRM_Utils_Time` is a helper for (a) getting the time and (b) setting the time
to a mocked value (for testing purposes).

Timing bugs can manifest as flaky tests.

This provides a new option, `TIME_FUNC`, which may help isolate some timing
bugs (provided the test consistently uses `CRM_Utils_Time`).

Before
------

When using `CRM_Utils_Time::setTime()`, it simulates a change in the clock, and
the clock is allowed to proceed at a natural/real pace.

This policy aims to be representative of real-world execution (wherein the
clock also executes at a natural pace).  However, consider that the pace at
which the code executes depends on numerous factors (CPU speed, memory
managers, system-load, system-caches, the specific code/use-case, etc).  If
your use-case relies on multiple calls to `getTime()`, and if you run the
use-case in repeated trials, then you may find somewhat chaotic variations
in the exact values of `getTime()`.

Consequently, if there is a timing-sensitive bug, you may find that some trials
pass while others fail, and it is impossible to reproduce the natural
circumstance of the failure.

After
-----

By default, `CRM_Utils_Time` still performs simulations where the clock
proceeds a natural/real pace.

However, if you see flaky results and suspect a timing bug, you can re-run the
test suite with alternative time functions (`TIME_FUNC`):

```bash
TIME_FUNC=frozen      ## every call to getTime() yields the same, static value
TIME_FUNC=natural     ## every call to getTime() progresses in tandem with the real/natural clock
TIME_FUNC=linear:333  ## every call to getTime() progresses by 333ms
TIME_FUNC=prng:333    ## every call to getTime() progresses by a random interval, up to 333ms
```

Now "time" is not so natural or chaotic - it's more synthetic and
deterministic, which can help with debugging.

For example, consider `CRM_Core_BAO_ActionScheduleTest` and its functions
`testMembershipEndDateRepeat`, `testEventTypeEndDateRepeat`, and
`testRepetitionFrequencyUnit` -- which (anecdotally) appear to be flaky.  We
can run one of these tests with deterministic time functions:

```bash
for TIME_FUNC in frozen prng:333 prng:666 prng:1000 prng:1500 linear:333 linear:666 linear:1000 ; do
  export TIME_FUNC
  echo
  echo "Running with TIME_FUNC=$TIME_FUNC"
  env CIVICRM_UF=UnitTests phpunit6 tests/phpunit/CRM/Core/BAO/ActionScheduleTest.php --filter testRepetitionFrequencyUnit
done
```

We get different results depending on the `TIME_FUNC`. I've done multiple trials with each `TIME_FUNC`, and
results have been stable so far:

* PASSING: `frozen` `prng:333` `prng:666` `linear:333` `linear:666` `linear:1000` `linear:1500`
* FAILING: `prng:1000` `prng:1500`

This doesn't specifically tell you what the bug is.  It could be a real bug
in the main logic or less important bug in the test logic.  However, you can
now *reproduce it* (locally, in an IDE, etc) by setting `TIME_FUNC=prng:1500`.

Merge pull request #17406 from eileenmcnaughton/email2

[REF] Pass params not-by-reference

Merge pull request #17411 from mattwire/apivactivity

Use now instead of date for activity API3 spec

Merge pull request #17409 from MikeyMJCO/patch-5

Typo Fix

Use now instead of date for activity API3 spec

Fix Typo on Search Settings page.

Merge pull request #17407 from eileenmcnaughton/recur

[REF] Remove unreachable block.

(REF) CiviEventDispatcher - Replace addListenerService()

This function was previously provided by inheriting from
ContainerAwareEventDispatcher, but that class isn't available in Symfony
4.4.

This is a work-a-like implementation.

[REF] Remove unreachable block.

This code was duplicated onto this form for cleanup. Since this is the
renewal form there should always be a current membership. I haven't removed the IF yet
for readability but that would follow on

Merge pull request #17400 from eileenmcnaughton/recurr

[REF] duplicate function.

[REF] Pass params not-by-reference

This is only called by one place in core + a deprecated unused class. The details are not used again

Extract getAttachments

Merge pull request #17203 from artfulrobot/artfulrobot-cleanup-job-improvements

Fix logic for job log cleanup and make SQL safer

Merge pull request #17163 from jitendrapurohit/core-1731

dev/core#1731 - Unable to import relationship

[REF] duplicate function.

This seems like the opposite of good principles but I've found that when facing a nasty chunk of code it's
often better to copy it & then start to clean it up, knowing that other places are not affected & not
having as much complexity to deal with

Merge pull request #17399 from seamuslee001/custom_field_fail_test

APIv4 - fix returning custom field values with API4

Merge pull request #17377 from artfulrobot/artfulrobot-remove-incorrect-calls-to-request-retrieve

Remove $_REQUEST passed into CRM_Utils_Request::retrieve NFC

Merge pull request #17402 from artfulrobot/artfulrobot-core-issue-1773

Fix core#1773 unsubscribe form causes errors if submitted twice

Merge pull request #17404 from eileenmcnaughton/master

5.26 to master

Merge branch '5.26' of https://github.com/civicrm/civicrm-core

Merge pull request #17292 from eileenmcnaughton/prop

Fixes a regression when cancelling a recurring with no processor_id

Merge pull request #16629 from WeMoveEU/core-1620

dev/core#1620 - Add campaign_id to template for alterMailContent hook

Clean up calls to CRM_Utils_Request::retrieve

Merge pull request #17393 from eileenmcnaughton/to

[REF] Code simplification & unit test on suppressed emails in task

Merge pull request #17391 from mattwire/createEmailActivityclarity

NFC Add a bit more clarity to createEmailActivity function

Fix core#1773 unsubscribe form causes errors if submitted twice

APIv4 - skip acl clause for 1-1 custom fields

Merge pull request #17388 from seamuslee001/domain_tokens_message_template_admin_interface

Add in domain tokens onto the Message Template admin interface

Merge pull request #17253 from mattwire/utf8convertblocksize

utf8mb4 - If strict mode enabled query will fail if KEY_BLOCK_SIZE is not 0

Permit empty processorID

On deploying this code I'm seeing InvalidArgumentException: 'processorID field has max length of 255'

dev/core#1731 - Unable to import relationship

Fix additional problem mentioned by demeritcowboy

Merge pull request #17178 from mattwire/simplifyrecurtemplates

Simplify recurring contribution template inheritance

Merge pull request #17398 from eileenmcnaughton/mem_recur

[REF] Pass an array of correct params to the function to create a recurring contribution.

[REF] Add in unit test of returning custom field values with API4

[REF] Pass an array of correct params to the function to create a recurring contribution.

This is getting away from 'passing whatever params we have' to 'passing the right params', which makes it easier
to see what can and can't be altered.

Note that from https://issues.civicrm.org/jira/browse/CRM-17636 we can see that is_email_receipt is not set
for payment purposes but contributionRecur purposes and since it's not a propertyBag param we can leave it off
here

Merge pull request #17395 from seamuslee001/update_DAO

Update DAO and L10n Schema file

Update DAO and L10n Schema file

Merge pull request #17394 from colemanw/api4CustomJoins

APIv4 - support custom entity joins

Merge pull request #17363 from eileenmcnaughton/price_field

Api4: Add Price api entities

[REF] Code simplification & unit test on suppressed emails in task

Merge pull request #17118 from lcdservices/dev-core-1722

dev/core#1722 Allow for first name and last name to be searched on

Merge pull request #17244 from totten/master-preboot

dev/translation#39 - Fix `core:install --lang`. Realign boot plugins.

Merge pull request #17392 from eileenmcnaughton/ct

Remove unused 'reset' param, other NFC tidy up:

Merge pull request #17364 from eileenmcnaughton/price_pseudo

Fix pricefield pseudoconstant.

PriceFieldValue - Make name and label required in DB

Fix notice and redundant code in PriceFieldValue BAO

Add Price api entities

Api4 entities for Price, PriceField & PriceFieldValue.

All 3 entities are accessed in the PriceFieldTest

Merge pull request #17390 from mattwire/api3activitydatetimedefault

Set default using spec for activity_date_time

Merge pull request #17386 from seamuslee001/dev_core_1775

dev/core#1775 Fix fee amount reversals when doing a change of financi…

Remove unused 'reset' param, other NFC tidy up:

APIv4 - Fix explicit joins to custom entities

Merge pull request #17387 from eileenmcnaughton/ct

Use apiv4, cache infra for basicTypes

APIv4 - Improve joins test coverage

Use apiv4, cache infra for basicTypes

I came across this as using an old weird pattern accessing the DAO. On looking it made most
sense just to switch to an apiv4 call. The caching was not convoluted but effectively
used an array cache, if loaded, and the array or Redis or sql cache if not. This
is the same as using the 'metadata' or 'contactTypes' cache so I switched to the latter.

I was inclined towards the former as I lean towards thinking this metadata all belongs in one - but there
is already another function in the same class going to the latter.

Add a bit more clarity to createEmailActivity function

Set default using spec for activity_date_time

Merge pull request #17228 from mattwire/fixmultilingualoptiongroups

Fix adding languages in multilingual

Merge pull request #17308 from colemanw/BAOcleanup

Various BAO create/add cleanups to use writeRecord()

Merge pull request #17348 from eileenmcnaughton/payex

Remove instantiation of transaction from payment express ipn class

Add in domain tokens onto the Message Template admin interface

Merge pull request #17381 from eileenmcnaughton/dao

Remove null code