dev/core#1361 Fix bug where 2 memberships created for same relationship

Fixes a bug (likely recent regression) identified by @agileware-pengyi where duplicate inherited relationships for the same membership were being created

I've been pretty much sweating blood trying to understand the code, & have now resorted to adding a class to
generate a saner data set

Merge pull request #15737 from eileenmcnaughton/php73

Php 7.3 fix - don't mis-use continue

Merge pull request #15705 from eileenmcnaughton/refund_fix

Fix Payment.create with a negative value to create the correct financial items

Merge pull request #15736 from demeritcowboy/remove-old-code

(NFC) Remove windows-specific debugging code from 11 years ago

Fix Payment.create with a negative value to create the correct financial items

The job of a refund in this function turns out to be exactly the same as the a payment. I originally thought the
from & to accounts would be reversed but in fact because we are recording a negative amount that is not the case.
We need the from-to accounts to be the same. The only difference turns out to be the status
of the financialTrxn (Completed vs Refunded it seems).

Without this change the refund code is calling the recordFinancialAccounts function but after stepping
through it I'm sure the only thing that function is doing for it is creating the
FinancialTrxn. It *should* be creating the EntityFinancialItem too but it is not
and the best place for that to be done is in the payment class not in a spaghetti function.

Note that after this we need some robust testing & probably a follow up
patch on the handling of tax items - which is unlikely to be correct since it wasn't in the past
AFAIK and is unchanged.....

However, this fixes an important bug & should be merged as soon as it is confirmed non-regressive
to allow the next one to be investigated

m

Bring recordRefundPayment back into the main function.

It's adding confusion and it turns out it's broken so let's fix properly

Update all payment tests to ensure entity financial items created

Alsothwe had tests for this it turns out they were only checking that they were correct IF created. This
ensures they also exist & is a sanity check to run at the end of tests. The two failing tests are
really failing :-(

Fix double loop on lineItems

Historically the code followed 2 loops - one for the (very rare) situation when an array of
'line_item' was passed in - in fact this array is an array of arrays where each array represents
the id of a line item and the amount to allocate.

The other loop is the main loop that allocates according to a calculation.

This fixes it so that the allocation is correctly merged in if passed in in
getPayableLineItems and from that point we only need one loop.

This simplification is tested via the testCreatePaymentLineItems
which I cleaned up and made more robust. I was able to step through it and identify how
it was working

Merge pull request #15684 from eileenmcnaughton/legacy_extract

Remove recordPayment function.

Php 7.3 fix - don't mis-use continue

Also fix some casing

Merge pull request #15640 from eileenmcnaughton/pp_pay

Fix Payment.create bug whereby payment_processor_id is not being used for the to_account_id

remove debugging code

Merge pull request #15732 from totten/master-tplaner-when

composer.{json,lock} - Make the "tplaner/when" exception for old PHP reproducible

Merge pull request #15730 from seamuslee001/new_xkerman_package

Add in xkerman/restricted-unserialize package

composer.{json,lock} - Make the "tplaner/when" exception for old PHP reproducible

Overview
--------

The library `tplaner/when` has an inaccurate dependency on php71 and
requires special work to deploy on php70.

Before
------

The `composer.lock` file was manually edited to make it runnable on php70.
However, if you `rm composer.lock && composer install`, then it fails.

After
-----

The `composer.json` and `composer.lock` are more repeatable.  If you run
`rm composer.lock && composer install`, then it works.

Comments
--------

This adds a fairly ugly section.  However, the good news is that it should
be more transparent - which should make it easier to understand/remove
later.

As a general rule, we don't want to have `civicrm-core.git` depend on
packages/versions that aren't published.  This is a somewhat unusual
edge-case - this package/version is published via `packagist.org`.  If you
run without this on php71+, then you still get a valid/equivalent package.
All that we've done is to enable running on `php70` (when `civicrm-core` is
a root project).

Add in xkerman/restricted-unserialize package

Merge pull request #15728 from eileenmcnaughton/rel_clean

[REF] minor code simplification

[REF] minor code simplification

Switches a call to an old function to an api function & removes post filtering.

Currently the code calls an old function which gets all membership ids & then filters on
statuses. This switches to an api call & passes statuses in as a filter

Strong test cover in testSingleMembershipForTwoRelationships which tests these lines in a variety of ways

Merge pull request #15707 from eileenmcnaughton/setter

dev/financial#82 revert added setters

Merge pull request #15710 from seamuslee001/custom_field_convert

dev/core#561 Add in routine to convert custom date fields in smart groups to datep…

Merge pull request #14349 from mattwire/case_links_refactor_3

Convert case activity links to 'actionLinks'

Re-apply useful cleanups from reverted commits

Revert "dev/financial#77 ++ Make contribution_id mandatory for PaymentProcessor.pay, pass incoieID"

This reverts commit 783b62a7dfe3c94bd69bcb182732b240e53911be.

Revert places where setters are used to set things

These are all new in 5.20 & if we are going to change we should reverse & re-do before cutting 5.20

Revert "Add getters & setters for contributionID on CRM_Core_Payment."

This reverts commit c28ad54a7194e30033ffed1ad727586546e80db3.

Revert "Add a bunch of additional getters & setters"

This reverts commit c5884dfddb30e40e06af9ef0f2dc940ad6ae55bd.

Merge pull request #15694 from eileenmcnaughton/custom

Get rid of jcalendar range in custom data

Merge pull request #15729 from civicrm/5.19

5.19 to master

Merge pull request #15726 from MiyaNoctem/dev-core-1093-fix-installation-of-custom-fields-with-option-values

dev/core#1093: Fix Installation of Custom Fields with Option Values From XML

Add in a unit test of the custom field date range conversion

Add in routine to convert custom date fields in smart groups to datepicker format

Remove 'recode handling

Add in template file for laying out datepicker in custom fields and extract js into own template for sharing

Get rid of jcalendar range in custom data

Merge pull request #15727 from civicrm/5.19

5.19

Merge pull request #15719 from eileenmcnaughton/custom_query_fix_join

Fix Custom field date query builder to work with 'raw' high & low params

Merge pull request #15724 from MiyaNoctem/dev-core-1360-fix-programatic-installation-of-extensions-v519

dev/core#1360: Fix Programatic Installation Of Multiple Extensions on v5.19

dev/core#1093: Fix Installation of Custom Fields with Option Values From XML

Merge pull request #15722 from eileenmcnaughton/rel_test

[REF] minor tidy ups on very nasty function

dev/core#1360: Fix Programatic Installation Of Multiple Extensions

Merge pull request #15723 from eileenmcnaughton/rel_clean

Eliminate silly parameter

Further join tests & fixes

Turns out the carefully constructed join was being whomped - but only sometimes

Fix Custom field date query builder to work with 'raw' high & low params

Once we convert to datePicker we will be passing in parameters like custom_3_high, custom_3_low & custom_3_relative.

Currently we pass in custom_3_to & custom_3_from and custom_3_relative. This adds support for the new high & low
withoutt touching support for previously working or switching the field across (as yet). This paves the way for
the datepicker conversion. After a lot of brain pain I concluded the fundamental problem was the whereTables
from the CustomQuery were being merged in but actually then lost when where() is called.

Move all thte code that relates to joining tables/constructing From to one place.

This could definitely be cleaned up more - but the goal of this step is just to move all the code that
constructs the from code into one place, so it can be called more sensibly.

Tested in the newly written testAddressCustomFields

Switch to cached retrieval function

Add date check to test

Remove a few lines of unnecessary code
It used to be necessary to ISO format code before DAO->save. However, along the line wee fixed it lower
down & no longer need this smattered all over the code. Test proves it's OK

Eliminate silly parameter

 is only ever passed into this function once. In that instance
it is then populated off owner_membership_id & then wrangled in the calling function
back to a separatte arry before being unset. The moves it back to the calling function &
simplifieds

Good test cover exists in testCreateMembership

Merge pull request #15721 from eileenmcnaughton/odd_return

Remove early return on joinTable

Merge pull request #15720 from eileenmcnaughton/test_clean

Test improvements

Remove early return on joinTable

I looked up the reason for the early return here and it was that the UI for adding other tables
in was too complex. In other words the removed lines should never be true.

However, I don't think it's the place of the query object to enforce not attempting a query the
UI struggles with. Removing this will save a later person having to figure that out

Convert customQueryTest to test the BAO_Contact_Query

While I understand the theory of unit tests is to test low level chunks of code that relates in many
ways to WELL-DESIGNED chunks. In the case of the query object it is more important to
ensure the results experienced by the user are correct - this converts the existing test
to a more end-to-end test on the CRM_Contact_BAO_Query object acting correctly.

[NFC] Test cleam up

Merge pull request #15718 from eileenmcnaughton/custom_query_fix

[REF] Remove early return on joinTable

Merge pull request #15714 from eileenmcnaughton/custom_sane_save

[REF] remove  as a return Param of getHierContactDetails

Merge pull request #15715 from eileenmcnaughton/custom_query

Add test to lock in obscure custom join handling

Add test to lock in obscure custom join handling

Merge pull request #15717 from seamuslee001/backdrop_regen

[NFC] Allow users on backdrop to trigger regen.sh

Merge pull request #15716 from eileenmcnaughton/except

[NFC] Fix exception thrown to std CRM_Core_Exception

Merge pull request #15062 from eileenmcnaughton/agile_fix

Agile fixFix inherited membership being deleted when there is still a valid …  …relationship

Remove early return on joinTable

I looked up the reason for the early return here and it was that the UI for adding other tables
in was too complex. In other words the removed lines should never be true.

However, I don't think it's the place of the query object to enforce not attempting a query the
UI struggles with. Removing this will save a later person having to figure that out

[NFC] Allow users on backdrop to trigger regen.sh

Fix exception thrown to std CRM_Core_Exception

Merge pull request #15713 from eileenmcnaughton/query_clean

[NFC] various code cleanup on CRM_Contact_BAO_Query

[REF] remove  as a return Param of getHierContactDetails

In trying to get to the bottom of BAO_CustomQuery I hit confusion about whether options should still exist.

This removes it from the return values of getHierContactDetails, making for a cleaner later PR when
we can check all calls to CRM_Contact_BAO_Query::apiQuery use the 'list' construct and only
use one param - at which point we can pull it out of apiQuery

[NFC] various code cleanup on CRM_Contact_BAO_Query

Fix comment blocks, correct parameter types in blocks etc, fix some miscased fn calls, add throws tags
use strict comparision when comparing with strings

Merge pull request #15571 from herbdool/ops-906

Backdrop support for adding roles and perms

Merge pull request #15701 from seamuslee001/allow_extensions_to_override_acl_temp_table_use

Add in method to allow extensions to opt out of using temporary table…

Merge pull request #15712 from seamuslee001/form_reorder_modified

Re-arrange change log advanced search panel so both modified fields a…

Re-arrange change log advanced search panel so both modified fields are next to each other

Merge pull request #15711 from eileenmcnaughton/cust_ug

Minor refactors to support converting custom fields to datepicker fields

Add a couple of throws to comments

Move CustomQuery iteraction out of the tail end of the SelectClause

It's not part of the select clause so having it in there is confusing & mislead. No functional change as it's the next
thin to be called either way

Fix determination of whether custom fields are in play to include range

I've added in _high, _low as the new ones & also _from & _to as I'm having some transitional issues

Merge pull request #15702 from seamuslee001/log_date_smart_group_upgrade

dev/core#561 Add in Upgrade routine to convert log_date smart group s…

Merge pull request #15693 from eileenmcnaughton/log_date

Replace log_date with created_date & modified_date in advanced search

Merge pull request #10 from seamuslee001/log_date

Fix up display of date fields to ensure that they don't cause issue t…

Fix up display of date fields to ensure that they don't cause issue to each other and add some description onto the modified by field

Merge pull request #15704 from totten/master-container-warn

Civi\Core\Container - Fix warning about Symfony 3=>4 and boot services

Civi\Core\Container - Fix warning about Symfony 3=>4 and boot services

Boot services are initialized before the container starts -- and then passed in via `$container->set()`.

Symfony 3.4 changes the default handling of `set()` - it now emits warnings
unless the services were previously flagged as public.

https://symfony.com/blog/new-in-symfony-3-4-services-are-private-by-default

Before
------

```
[bknix-min:~/bknix/build/d8re] drush php
Psy Shell v0.9.9 (PHP 7.0.32 — cli) by Justin Hileman
>>> \Drupal::service('civicrm')->initialize();
PHP Deprecated:  The "runtime" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "paths" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "userSystem" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "userPermissionClass" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "cache.settings" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "settings_manager" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "lockManager" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
```

After
-----

The warnings don't appear.

Comments
--------

The `Definition` class includes two methods, `setPublic()` and
`setPrivate()`, which appear to do the same thing (but as opposites).
`setPublic()` exists Symfony 2.8+, but `setPrivate()` was added in Symfony
3.x, so we use `setPublic()` for broader compatibility.

Merge pull request #15415 from ixiam/dev_issue#1297

dev/core#1297 If start/end date is empty, results are empty

Merge pull request #15685 from eileenmcnaughton/refund_allocate

[NFC] Test class preliminary clean up

[NFC] Test class preliminary clean up

Switch default handling so that we convert to created_date field by default as that matches the current form code and extend unit test to cover senario where no radio button was filled in

dev/core#561 Add in Upgrade routine to convert log_date smart group searches to their new names

Fix log date function call in upgrade

Merge pull request #15698 from jitendrapurohit/fix-participant-fields

Fix loading of profile fields on additional participant form

Add in method to allow extensions to opt out of using temporary table when building ACL Contact Cache

Merge pull request #15617 from eileenmcnaughton/even_clen

dev/financial#2 Support payment processor title if configured on Contribution & Event Pages

Merge pull request #15687 from eileenmcnaughton/add_pay_date

Cleanup date handling on Payment.create

Merge pull request #15632 from eileenmcnaughton/pay_form

Partial conversion of Payment form to use the EntityFormTrait & add title

Fix loading of profile fields on additional participant form

Merge pull request #15641 from eileenmcnaughton/cont_clean

[REF] Move calls to CRM_Core_BAO_FinancialTrxn::createDeferredTrxn back to the calling functions.

Convert case activity links to 'actionLinks'

Add function to get 'view only' activity types

Merge pull request #15651 from seamuslee001/dev_core_1344

dev/core#1344 Fix logic for displaying BillingName and Credit Card De…

Merge pull request #15588 from seamuslee001/ref_group_contact_cache_rebuild

[REF] Refactor Smart Group Cache population code to be less intensive

Merge pull request #15592 from seamuslee001/ref_acl_contact_cache_generation

[REF] Refactor ACL Contact Cache generation to be more efficient

Merge pull request #15679 from eileenmcnaughton/script_fee

dev/event#19 remove obsolete scriptFee & scriptArray

Merge pull request #15688 from eileenmcnaughton/billing_name

Fix BillingName to be assigned in email receipts IF available

Replace log_date with created_date & modified_date in advanced search

This is almost the last step in getting rid of an awful lot of technical debt & hard to maintain code around jcalendar & datepicker.

It does change the UI a bit - the code to create the current UI is pretty tough going and from seeing users try
to work with it I don't think all that code is making it more usable. OTOH we can remove a maintainability blockerr
by switching over

Fix BillingName to be assigned in email receipts IF available

Previously it was assigned at the form layer, now we assign it in the email sending routine, depending on
whether the contribution has address_id & there is a value assigned