Add in routine to convert custom date fields in smart groups to datepicker format

Merge pull request #15727 from civicrm/5.19

5.19

Merge pull request #15719 from eileenmcnaughton/custom_query_fix_join

Fix Custom field date query builder to work with 'raw' high & low params

Merge pull request #15724 from MiyaNoctem/dev-core-1360-fix-programatic-installation-of-extensions-v519

dev/core#1360: Fix Programatic Installation Of Multiple Extensions on v5.19

Merge pull request #15722 from eileenmcnaughton/rel_test

[REF] minor tidy ups on very nasty function

dev/core#1360: Fix Programatic Installation Of Multiple Extensions

Merge pull request #15723 from eileenmcnaughton/rel_clean

Eliminate silly parameter

Further join tests & fixes

Turns out the carefully constructed join was being whomped - but only sometimes

Fix Custom field date query builder to work with 'raw' high & low params

Once we convert to datePicker we will be passing in parameters like custom_3_high, custom_3_low & custom_3_relative.

Currently we pass in custom_3_to & custom_3_from and custom_3_relative. This adds support for the new high & low
withoutt touching support for previously working or switching the field across (as yet). This paves the way for
the datepicker conversion. After a lot of brain pain I concluded the fundamental problem was the whereTables
from the CustomQuery were being merged in but actually then lost when where() is called.

Move all thte code that relates to joining tables/constructing From to one place.

This could definitely be cleaned up more - but the goal of this step is just to move all the code that
constructs the from code into one place, so it can be called more sensibly.

Tested in the newly written testAddressCustomFields

Switch to cached retrieval function

Add date check to test

Remove a few lines of unnecessary code
It used to be necessary to ISO format code before DAO->save. However, along the line wee fixed it lower
down & no longer need this smattered all over the code. Test proves it's OK

Eliminate silly parameter

 is only ever passed into this function once. In that instance
it is then populated off owner_membership_id & then wrangled in the calling function
back to a separatte arry before being unset. The moves it back to the calling function &
simplifieds

Good test cover exists in testCreateMembership

Merge pull request #15721 from eileenmcnaughton/odd_return

Remove early return on joinTable

Merge pull request #15720 from eileenmcnaughton/test_clean

Test improvements

Remove early return on joinTable

I looked up the reason for the early return here and it was that the UI for adding other tables
in was too complex. In other words the removed lines should never be true.

However, I don't think it's the place of the query object to enforce not attempting a query the
UI struggles with. Removing this will save a later person having to figure that out

Convert customQueryTest to test the BAO_Contact_Query

While I understand the theory of unit tests is to test low level chunks of code that relates in many
ways to WELL-DESIGNED chunks. In the case of the query object it is more important to
ensure the results experienced by the user are correct - this converts the existing test
to a more end-to-end test on the CRM_Contact_BAO_Query object acting correctly.

[NFC] Test cleam up

Merge pull request #15718 from eileenmcnaughton/custom_query_fix

[REF] Remove early return on joinTable

Merge pull request #15714 from eileenmcnaughton/custom_sane_save

[REF] remove  as a return Param of getHierContactDetails

Merge pull request #15715 from eileenmcnaughton/custom_query

Add test to lock in obscure custom join handling

Add test to lock in obscure custom join handling

Merge pull request #15717 from seamuslee001/backdrop_regen

[NFC] Allow users on backdrop to trigger regen.sh

Merge pull request #15716 from eileenmcnaughton/except

[NFC] Fix exception thrown to std CRM_Core_Exception

Merge pull request #15062 from eileenmcnaughton/agile_fix

Agile fixFix inherited membership being deleted when there is still a valid …  …relationship

Remove early return on joinTable

I looked up the reason for the early return here and it was that the UI for adding other tables
in was too complex. In other words the removed lines should never be true.

However, I don't think it's the place of the query object to enforce not attempting a query the
UI struggles with. Removing this will save a later person having to figure that out

[NFC] Allow users on backdrop to trigger regen.sh

Fix exception thrown to std CRM_Core_Exception

Merge pull request #15713 from eileenmcnaughton/query_clean

[NFC] various code cleanup on CRM_Contact_BAO_Query

[REF] remove  as a return Param of getHierContactDetails

In trying to get to the bottom of BAO_CustomQuery I hit confusion about whether options should still exist.

This removes it from the return values of getHierContactDetails, making for a cleaner later PR when
we can check all calls to CRM_Contact_BAO_Query::apiQuery use the 'list' construct and only
use one param - at which point we can pull it out of apiQuery

[NFC] various code cleanup on CRM_Contact_BAO_Query

Fix comment blocks, correct parameter types in blocks etc, fix some miscased fn calls, add throws tags
use strict comparision when comparing with strings

Merge pull request #15571 from herbdool/ops-906

Backdrop support for adding roles and perms

Merge pull request #15701 from seamuslee001/allow_extensions_to_override_acl_temp_table_use

Add in method to allow extensions to opt out of using temporary table…

Merge pull request #15712 from seamuslee001/form_reorder_modified

Re-arrange change log advanced search panel so both modified fields a…

Re-arrange change log advanced search panel so both modified fields are next to each other

Merge pull request #15711 from eileenmcnaughton/cust_ug

Minor refactors to support converting custom fields to datepicker fields

Add a couple of throws to comments

Move CustomQuery iteraction out of the tail end of the SelectClause

It's not part of the select clause so having it in there is confusing & mislead. No functional change as it's the next
thin to be called either way

Fix determination of whether custom fields are in play to include range

I've added in _high, _low as the new ones & also _from & _to as I'm having some transitional issues

Merge pull request #15702 from seamuslee001/log_date_smart_group_upgrade

dev/core#561 Add in Upgrade routine to convert log_date smart group s…

Merge pull request #15693 from eileenmcnaughton/log_date

Replace log_date with created_date & modified_date in advanced search

Merge pull request #10 from seamuslee001/log_date

Fix up display of date fields to ensure that they don't cause issue t…

Fix up display of date fields to ensure that they don't cause issue to each other and add some description onto the modified by field

Merge pull request #15704 from totten/master-container-warn

Civi\Core\Container - Fix warning about Symfony 3=>4 and boot services

Civi\Core\Container - Fix warning about Symfony 3=>4 and boot services

Boot services are initialized before the container starts -- and then passed in via `$container->set()`.

Symfony 3.4 changes the default handling of `set()` - it now emits warnings
unless the services were previously flagged as public.

https://symfony.com/blog/new-in-symfony-3-4-services-are-private-by-default

Before
------

```
[bknix-min:~/bknix/build/d8re] drush php
Psy Shell v0.9.9 (PHP 7.0.32 — cli) by Justin Hileman
>>> \Drupal::service('civicrm')->initialize();
PHP Deprecated:  The "runtime" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "paths" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "userSystem" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "userPermissionClass" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "cache.settings" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "settings_manager" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
PHP Deprecated:  The "lockManager" service is private, replacing it is deprecated since Symfony 3.2 and will fail in 4.0. in /Users/totten/bknix/build/d8re/vendor/symfony/dependency-injection/Container.php on line 190
```

After
-----

The warnings don't appear.

Comments
--------

The `Definition` class includes two methods, `setPublic()` and
`setPrivate()`, which appear to do the same thing (but as opposites).
`setPublic()` exists Symfony 2.8+, but `setPrivate()` was added in Symfony
3.x, so we use `setPublic()` for broader compatibility.

Merge pull request #15415 from ixiam/dev_issue#1297

dev/core#1297 If start/end date is empty, results are empty

Merge pull request #15685 from eileenmcnaughton/refund_allocate

[NFC] Test class preliminary clean up

[NFC] Test class preliminary clean up

Switch default handling so that we convert to created_date field by default as that matches the current form code and extend unit test to cover senario where no radio button was filled in

dev/core#561 Add in Upgrade routine to convert log_date smart group searches to their new names

Fix log date function call in upgrade

Merge pull request #15698 from jitendrapurohit/fix-participant-fields

Fix loading of profile fields on additional participant form

Add in method to allow extensions to opt out of using temporary table when building ACL Contact Cache

Merge pull request #15617 from eileenmcnaughton/even_clen

dev/financial#2 Support payment processor title if configured on Contribution & Event Pages

Merge pull request #15687 from eileenmcnaughton/add_pay_date

Cleanup date handling on Payment.create

Merge pull request #15632 from eileenmcnaughton/pay_form

Partial conversion of Payment form to use the EntityFormTrait & add title

Fix loading of profile fields on additional participant form

Merge pull request #15641 from eileenmcnaughton/cont_clean

[REF] Move calls to CRM_Core_BAO_FinancialTrxn::createDeferredTrxn back to the calling functions.

Merge pull request #15651 from seamuslee001/dev_core_1344

dev/core#1344 Fix logic for displaying BillingName and Credit Card De…

Merge pull request #15588 from seamuslee001/ref_group_contact_cache_rebuild

[REF] Refactor Smart Group Cache population code to be less intensive

Merge pull request #15592 from seamuslee001/ref_acl_contact_cache_generation

[REF] Refactor ACL Contact Cache generation to be more efficient

Merge pull request #15679 from eileenmcnaughton/script_fee

dev/event#19 remove obsolete scriptFee & scriptArray

Merge pull request #15688 from eileenmcnaughton/billing_name

Fix BillingName to be assigned in email receipts IF available

Replace log_date with created_date & modified_date in advanced search

This is almost the last step in getting rid of an awful lot of technical debt & hard to maintain code around jcalendar & datepicker.

It does change the UI a bit - the code to create the current UI is pretty tough going and from seeing users try
to work with it I don't think all that code is making it more usable. OTOH we can remove a maintainability blockerr
by switching over

Fix BillingName to be assigned in email receipts IF available

Previously it was assigned at the form layer, now we assign it in the email sending routine, depending on
whether the contribution has address_id & there is a value assigned

Merge pull request #15691 from civicrm/5.19

5.19

Merge pull request #15690 from seamuslee001/nfc_authorize_test_fix

[NFC] Fix AuthorizeNet Test failure due to credit card being expired

[NFC] Fix AuthorizeNet Test failure due to credit card being expired

dev/core#1344 Fix logic for displaying BillingName and Credit Card Details in email Receipts

Merge pull request #15682 from seamuslee001/dev_core_1344_aditional_if

dev/core#1344 Re-work if statements and remove excess ifs

dev/core#1344 Re-work if statements and remove excess ifs

Cleanup date handling on Payment.create

Fix a bug identified by @kcristiano whereby adding a payment with the
additional payment form changes the contribution receive_date.

Also, add a default to Payment.create of 'now' for the
trxn_date and require it to be set. Use that value later on.

Some string fixes

Merge pull request #15638 from eileenmcnaughton/vangelis

dev/core#1282 unit test for bug

Merge pull request #15683 from eileenmcnaughton/test

[NFC] test cleanup

Merge pull request #15681 from eileenmcnaughton/nfc

[NFC] define variable type

[NFC] test cleanup

I failed to replicate what I was trying to replicate but   adding the test cleanup for now

Merge pull request #15677 from seamuslee001/event_smart_group_upgrade

Add in upgrade step for upgrading Event date and Relationship Active Date smart groups

Merge pull request #15680 from seamuslee001/dev_core_1344_straightforward

dev/core#1344 Fix complicated logic on credit card and billing name s…

Add in upgrade step for upgrading Event date smart groups

Include relation_active_period_date field for upgrade

Merge pull request #15671 from eileenmcnaughton/rel_action

Jcalendar conversion on relation_active_period_date

[NFC] define variable type

dev/core#1344 Fix complicated logic on credit card and billing name sections as agreed in #15651

dev/event#19 remove obsolete scriptFee & scriptArray

https://lab.civicrm.org/dev/event/issues/19#note_25984

Both @mattwire & myself determined these are obsolete, unused parameters, removing

Merge pull request #15674 from eileenmcnaughton/tpls

Simplify billingName logic on xml/templates/message_templates/members…

Remove test on legacy relative dates handling

Jcalendar converstion on relation_active_period_date

Same as https://github.com/civicrm/civicrm-core/pull/15661

Conversion excluded for now

Merge pull request #15362 from yashodha/edit

(dev/core#1065) Member in Edit mode needs to be shown consistently

Merge pull request #15661 from eileenmcnaughton/event

Jcalendar replacement for event date

Merge pull request #15673 from eileenmcnaughton/set

Ensure contributionRecurID is set on processor

Merge pull request #15672 from eileenmcnaughton/unreachable

[NFC] Remove unreachable lines

Ensure contributionRecurID is available to payment processors that need it in cancelSubscription

Discussion starts here https://chat.civicrm.org/civicrm/pl/9m1goccmtpdy58cb7jyx791t7e

Simplify billingName logic on xml/templates/message_templates/membership_online_receipt_html.tpl

Remove unreachable lines

Merge pull request #15669 from eileenmcnaughton/yesno

Use Yes-No radio instead of checkbox on search form.

Jcalendar replacement for event date

Merge pull request #15662 from eileenmcnaughton/lines

[NFC] Test cleanup -  switch to OrderApi in test setup, add throws, use sin…

Use Yes-No radio instead of checkbox on search form.

When a field has an html type of 'Checkbox' it means that when editing it we want a checkbox for
'yes' or 'no'. However in the search forms there is a 3rd option 'don't care'.

This change takes the context into account for those forms

Merge pull request #15650 from demeritcowboy/mode-value-missing

dev/core#1347 - Fix php warning in advanced search when opening some accordions

Merge pull request #15667 from JMAConsulting/generalise-qill-1

Add getQillValue fn to generalise qill string construct

Merge pull request #15664 from eileenmcnaughton/odd_payment2

dev/financial#94 fix eroneous payment creation when editing line items

Add CRM_Contact_BAO_Query::getQillValue fn