Update to latest versions of polyfill-ctype and polyfill-iconv

securiry/core#70 Upgrade Symfony version to 2.8.50

ContactApiKeyTest - Add additional test-case

This case was failing before but now passes with the update

Ensure that APIv4 Properly filters out permissable fields when no permission to view field exists

Update unit test to match the output of the CRM_Utils_String function

SavedSearch API - Only accept safe inputs

CRM_Utils_String::unserialize() - Add wrapper for parsing safe exprs (int/string/array/etc)

[NFC] Update Doc block as per Patrick

Revert changes in CRM/Core/BAO{Cache|ConfigSetting}.php CRM/Extension/ClassLoader.php CRM/Queue and CRM/Utils/Cache

Return FALSE instead of throwing Exception if package throws Exception

Implement xKerman/restricted-unserialize package to guard against unsafe unserialize

ContactInterchangeTest - Add coverage for APIv4 joins/chains

(security/core#67) Port APIv3's escaping scheme to APIv4

HTMLInputCoder - Add more variants for encoding arrays

Fix unit test for APIv4 format

Fix api_key handling from joins

security/core#65 - Fix XSS in Dashboard Report Title

This fixes an XSS in report titles displayed on the dashboard page
by escaping the title on output.

security/core#65 Fix Display of Report title that contains XSS in it when shown on dashboard

security/core#59 - Fix SQL injection in civicrm/ajax/dedupefind

This fixes an SQL injection in civicrm/ajax/dedupefind by validating
the order direction parameter.

Fixes #59

Merge pull request #15889 from eileenmcnaughton/refund

dev/core#1409 Remove net_amount from Addtional Payment form

dev/core#1409 Remove net_amount from Addtional Payment form

This is causing a validation problem. We used to have an issue on the contribution form which we eventually
resolved by removing net_amount as it's best calculated anyway

In order to make this changed I had to ensure Payment.create adds the net_amount & had
to do a couple of tweaks for the test to pass

Merge pull request #15888 from seamuslee001/lab_core_1406

dev/core#1406 Ensure that we use the CRM_Member_DAO_Membership as dao…

dev/core#1406 Ensure that we use the CRM_Member_DAO_Membership as dao for the civicrm_membership table

Merge pull request #15879 from alifrumin/rn5.20

First pass at sorting and annotating 5.20 release notes

release notes 5.20 - first pass at editing, sorting and annotating

Merge pull request #15846 from greenpeace-cee/fix-cancel-date

Fix contribution cancel_date not being loaded

dev/core#1391 - Fix contribution cancel_date not being loaded

This fixes an issue where the contribution cancel_date is not loaded
in the contribution search, causing cancelled contributions not to be
greyed out and the cancel date not to be shown.

Merge pull request #15872 from eileenmcnaughton/sybunt

Fix Sybunt to select mark rows as selected

Merge pull request #15873 from eileenmcnaughton/cont_ag

dev/core#1377 Fix bug where search action doesn't work.

dev/core#1377 Fix bug where search action doesn't work.

Fixes a regression where the search actions are not working on the contributionAggregate custom search

Fix Sybunt to select mark rows as selected

Merge pull request #15844 from mlutfy/fixMsgTpl

marketing/civicrm-website#163 Mitigate potential upgrade errors on missing msg_templates

marketing/civicrm-website#163 Mitigate potential upgrade errors on missing msg_templates

Merge pull request #15804 from eileenmcnaughton/fns

dev/core#1381 fix fatal on case search (unreleased regression

dev/core#1381 fix fatal on case search (unreleased regression

Merge pull request #15787 from eileenmcnaughton/recur_ug

Remove unhelpful alert from contribution search

Merge pull request #15789 from seamuslee001/5_19_1_version_notes

5.19.1 Version Release Notes

Update 5.19.1.md

Add in release notes for 5.19.1 drop

Remove unhelpful alert from contribution search

Merge pull request #15781 from eileenmcnaughton/cont_search

dev/core#1374 Fix search formValue handling on contribution search

Merge pull request #15782 from seamuslee001/dev_mailing_56_2

Add in unit test for dev/mailing#56 and dev/mailing#57 and also fix i…

dev/core#1374 Fix search formValue handling on contribution search

This fixes 2 issues
1) Search params being lost when editing a related entity per
https://lab.civicrm.org/dev/core/issues/1374
2) force=1&sort_name=p not working in contribution search url

In digging I concluded the problem is we have 3 underlying arrays which we keep jumbling together

1) formValues - the actual submitted values, augmented by any  url passed params
2) the default values - values to load by default on the form
3) our working query params - a copy of formValues that we have prepared for the query

We need to stop mangling them. I added subtle code comments

Add in unit test for dev/mailing#56 and dev/mailing#57 and also fix issue where by mailing_name has been namespaced also in 5.20

Merge pull request #15779 from seamuslee001/dev_mailing_56

dev/mailing#56 dev/mailing#57 Ensure that we don't pass in any namesp…

dev/mailing#56 dev/mailing#57 Ensure that we don't pass in any namespaced fields when building the row array for mailing reports

Merge pull request #15772 from agh1/5.20.0-releasenotes-initial

5.20.0 release notes initial run

5.20.0 release notes: added boilerplate

5.20.0 release notes: raw from script

Merge pull request #15765 from seamuslee001/5.20

dev/core#1376 Catch Invalid Argument Exception when looking for APIv4…

dev/core#1376 Catch Invalid Argument Exception when looking for APIv4 Services

Merge pull request #15762 from seamuslee001/dev_core_1371

dev/core#1371 Fix e-notice caused by trying to pass in known  to the …

dev/core#1371 Fix e-notice caused by trying to pass in known  to the extension downloader when checking requirements

Set version to 5.20.beta1

Merge pull request #15754 from seamuslee001/master

5.19

Merge in 5.19

Set version to 5.19.0

Merge pull request #15752 from agh1/5.19.0-releasenotes-final

5.19.0 release notes: added late changes

Update 5.19.0.md

Merge pull request #15751 from magnolia61/workflow_template_contribution_terms

changed wording to Total Fee & Total Paid

5.19.0 release notes: added late changes

Merge pull request #15748 from eileenmcnaughton/line_item_belt_braces

Provide precautionary handling for theoretical error scenario.

changed wording to Total Fee & Total Paid

Provide precautionary handling for theoretical error scenario.

While testing payments I hit a bug where I tried to add a payment to a contribution with no financial items.

I never managed to replicate it again or determine how the payment came to be in that state but
it's been playing in my mind that people could get fatal errors if the financial_items don't exist
and dealing with those as regression reports will very tough. So my plan is
- for 5.20 add this extra routine to create it if it does not exist
- use this mechanism + more digging to figure out how legit an issue it is https://github.com/civicrm/civicrm-core/pull/15706
- in future releases 'get noisy' about having to create them if they don't exist
- eventually remove this routine

Merge pull request #15740 from eileenmcnaughton/partial

dev/financial#40 Fix for non-allocation of payment to fully reversed checkboxes option

Merge pull request #15745 from seamuslee001/master

Update template upgrade list as per PR #15742

Merge pull request #15750 from eileenmcnaughton/except

[NFC] Cleanup on exceptions

Merge pull request #15744 from yashodha/participant_edit

(dev/core#1065) Participant in Edit mode needs to be shown consistently

Merge pull request #15749 from seamuslee001/Additional_Fixes_to_workflow_templates

Additional fixes to workflow templates

Update template upgrade list as per PR #15742

Cleanup on exceptions

Fixes a low level function to throw a CRM_Core_Exception & tidies up functions
above to specify that. Fixes casing on a function call, removes a fatal
for status bounce

Fix Smarty Syntax in payment_or_refund_notification_text template and update unit tests to match the change in langauge in the templates

Merge pull request #15746 from civicrm/5.19

5.19

Merge pull request #15741 from totten/5.19-volinst

(dev/core#1093) Fix regression during extension activation

Merge pull request #15743 from eileenmcnaughton/validate_test

Fix test to be more valid

Additional changes to workflow message templates

(dev/core#1065) Participant in Edit mode needs to be shown consistently

Fix test to be more valid

I've added a check to run after tests & before tearDown to ensure that all payments have the
right entity_financial_trxn records.

This required fixing one ttest to be valid. It's not possible to create a contribution using the
back office for with status set to Partially Paid (it's not an option in the drop down, so
the test should create as Pending & then add a payment to get to partially paid

(dev/core#1093) Fix permission error when activating extension

Overview
--------

This fixes a recent/unreleased regression from #15726 in which the D7 demo build fails.

Before
------

When running `civibuild reinstall ...` on a `drupal-demo` site, it fails at this step:

```
+++ drush -y cvapi extension.install key=org.civicrm.volunteer debug=1
Authorization failed                                                                                                                                                   [error]
Array
(
    [error_code] => unauthorized
    [entity] => Extension
    [action] => install
    [trace] => #0 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Kernel.php(166): Civi\API\Kernel->authorize(Object(Civi\Api4\Provider\ActionObjectProvider), Object(Civi\Api4\Generic\DAOSaveAction))
1 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/Api4/Generic/AbstractAction.php(235): Civi\API\Kernel->runRequest(Object(Civi\Api4\Generic\DAOSaveAction))
2 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Utils/Migrate/Import.php(374): Civi\Api4\Generic\AbstractAction->execute()
3 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Utils/Migrate/Import.php(82): CRM_Utils_Migrate_Import->customFields(Object(SimpleXMLElement), Array)
4 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/CRM/Volunteer/Upgrader.php(836): CRM_Utils_Migrate_Import->runXmlElement(Object(SimpleXMLElement))
5 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/CRM/Volunteer/Upgrader.php(48): CRM_Volunteer_Upgrader->executeCustomDataTemplateFile('volunteer-custo...')
6 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/CRM/Volunteer/Upgrader/Base.php(306): CRM_Volunteer_Upgrader->install()
7 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/volunteer.civix.php(131): CRM_Volunteer_Upgrader_Base->onInstall()
8 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/volunteer.php(204): _volunteer_civix_civicrm_install()
9 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Extension/Manager/Module.php(76): volunteer_civicrm_install()
10 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Extension/Manager/Module.php(48): CRM_Extension_Manager_Module->callHook(Object(CRM_Extension_Info), 'install')
11 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Extension/Manager.php(264): CRM_Extension_Manager_Module->onPreInstall(Object(CRM_Extension_Info))
12 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/api/v3/Extension.php(58): CRM_Extension_Manager->install(Array)
13 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Provider/MagicFunctionProvider.php(101): civicrm_api3_extension_install(Array)
14 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Kernel.php(168): Civi\API\Provider\MagicFunctionProvider->invoke(Array)
15 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Kernel.php(99): Civi\API\Kernel->runRequest(Array)
16 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/api/api.php(23): Civi\API\Kernel->runSafe('extension', 'install', Array, NULL)
17 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/drupal/drush/civicrm.drush.inc(1557): civicrm_api('extension', 'install', Array)
18 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/command.inc(422): drush_civicrm_api('extension.insta...', 'key=org.civicrm...', 'debug=1')
19 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/command.inc(231): _drush_invoke_hooks(Array, Array)
20 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/command.inc(199): drush_command('extension.insta...', 'key=org.civicrm...', 'debug=1')
21 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/lib/Drush/Boot/BaseBoot.php(67): drush_dispatch(Array)
22 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/preflight.inc(66): Drush\Boot\BaseBoot->bootstrap_and_dispatch()
23 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/startup.inc(465): drush_main()
24 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/startup.inc(369): drush_run_main(false, '/', 'Phar detected. ...')
25 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/drush(114): drush_startup(Array)
26 /Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar(10): require('phar:///Users/t...')
27 {main}
    [is_error] => 1
    [error_message] => Authorization failed
)
```

After
-----

It works again.

Merge pull request #15738 from agileware/CIVICRM-1354

Fix the relationship direction in testSingleMembershipForTwoRelationships

Fix for non-allocation of payment to fully reversed checkboxes option

This addresses an issue partially identified in https://lab.civicrm.org/dev/financial/issues/98 whereby
civicrm_entity_financial_trxn records for the civicrm_financial_item table are not created when
refunding against line items with a quantity of zero  - ie where there were selected checkboxes & they
were reversed.

The reason this check was there relates to former logic - now we have a calculated allocation
we don't need this check.

I want to do a test but need to do a bit of work to get it set up & I think this should hit 5.20
as it relates to an issue identified by Kevin in reviewing patches merged to that version

Merge pull request #15731 from eileenmcnaughton/rel_clean

dev/core#1361 Fix bug where 2 memberships created for same relationship

Merge pull request #15556 from demeritcowboy/convert-label-to-name-2

Upgrade script for dev/core#1046

CIVICRM-1354 fix test

Merge pull request #15735 from jitendrapurohit/dev-1367

dev/core#1367 - Incorrect line items recorded with contribution repea…

dev/core#1361 Fix bug where 2 memberships created for same relationship

Fixes a bug (likely recent regression) identified by @agileware-pengyi where duplicate inherited relationships for the same membership were being created

I've been pretty much sweating blood trying to understand the code, & have now resorted to adding a class to
generate a saner data set

Merge pull request #15733 from seamuslee001/payment_process_api4_schema

Schema changes for PaymentProcessor and PaymentProcessorType to suppo…

Merge pull request #15737 from eileenmcnaughton/php73

Php 7.3 fix - don't mis-use continue

Merge pull request #15705 from eileenmcnaughton/refund_fix

Fix Payment.create with a negative value to create the correct financial items

Merge pull request #15736 from demeritcowboy/remove-old-code

(NFC) Remove windows-specific debugging code from 11 years ago

Fix Payment.create with a negative value to create the correct financial items

The job of a refund in this function turns out to be exactly the same as the a payment. I originally thought the
from & to accounts would be reversed but in fact because we are recording a negative amount that is not the case.
We need the from-to accounts to be the same. The only difference turns out to be the status
of the financialTrxn (Completed vs Refunded it seems).

Without this change the refund code is calling the recordFinancialAccounts function but after stepping
through it I'm sure the only thing that function is doing for it is creating the
FinancialTrxn. It *should* be creating the EntityFinancialItem too but it is not
and the best place for that to be done is in the payment class not in a spaghetti function.

Note that after this we need some robust testing & probably a follow up
patch on the handling of tax items - which is unlikely to be correct since it wasn't in the past
AFAIK and is unchanged.....

However, this fixes an important bug & should be merged as soon as it is confirmed non-regressive
to allow the next one to be investigated

m

Bring recordRefundPayment back into the main function.

It's adding confusion and it turns out it's broken so let's fix properly

Update all payment tests to ensure entity financial items created

Alsothwe had tests for this it turns out they were only checking that they were correct IF created. This
ensures they also exist & is a sanity check to run at the end of tests. The two failing tests are
really failing :-(

Fix double loop on lineItems

Historically the code followed 2 loops - one for the (very rare) situation when an array of
'line_item' was passed in - in fact this array is an array of arrays where each array represents
the id of a line item and the amount to allocate.

The other loop is the main loop that allocates according to a calculation.

This fixes it so that the allocation is correctly merged in if passed in in
getPayableLineItems and from that point we only need one loop.

This simplification is tested via the testCreatePaymentLineItems
which I cleaned up and made more robust. I was able to step through it and identify how
it was working

Merge pull request #15684 from eileenmcnaughton/legacy_extract

Remove recordPayment function.

Php 7.3 fix - don't mis-use continue

Also fix some casing

Merge pull request #15640 from eileenmcnaughton/pp_pay

Fix Payment.create bug whereby payment_processor_id is not being used for the to_account_id

remove debugging code

dev/core#1367 - Incorrect line items recorded with contribution repeattransaction api

Merge pull request #15732 from totten/master-tplaner-when

composer.{json,lock} - Make the "tplaner/when" exception for old PHP reproducible