Merge pull request #15922 from totten/5.20-e2e-cli

(dev/core#1412) E2E - Add test case for path+URL construction in CLI

(dev/core#1412) E2E - Add test case for path+URL construction in CLI

Overview
--------

In dev/core#1412, the regression involved CLI processes producing incorrect URLs.
This adds some test-coverage.

Before
------

No test coverage for URLs in CLI environment.

After
-----

There is some test-coverage. It's able to reveal the existence of the bug from 1412.

Comments
--------

A lot of path/URL construction is dependent on the environment/site-build.
The test does not, on its own, guarantee that all environments work.
Rather, it adds a new slice of cheese to the stack.

This slice is moderately generic - in that I've successfully tested it
localy on `drupal-demo` and `wp-demo` builds.  In theory, it should work on
other build types (as long as they set variables `CIVI_CORE`, `CMS_ROOT`,
`CMS_URL`).

Merge pull request #15918 from MegaphoneJon/core-1411-rc

core#1411: Advanced Search crashes when some form values start with 1

core#1411: Advanced Search crashes when some form values start with 1

Merge pull request #15899 from greenpeace-cee/fix-ambiguous-order-column

Fix ambiguous column in search with ORDER BY

Fix ambiguous column in search with ORDER BY

This fixes an issue where columns whose names are not unique in a
search query cause a DB error when they're used as a sort column.
The issue can be observed in the contribution search when sorting
by contribution status.

The issue is resolved by using the where field of the column spec,
which holds the fully-qualified name of the column.

Merge branch '5.20-security_release_release_notes' into '5.20-security'

Release notes for 5.19.2 Release

See merge request security/core!90

Update 5.19.2.md

Update 5.19.2.md

Update release notes for Public MRs being merged into 5.19

Update 5.19.2.md

Update 5.19.2.md

Update 5.19.2.md

Minor update to release notes

Update release notes as per Tim's copy editing of the SA

Release notes for 5.19.2 Release

Update to latest versions of polyfill-ctype and polyfill-iconv

securiry/core#70 Upgrade Symfony version to 2.8.50

ContactApiKeyTest - Add additional test-case

This case was failing before but now passes with the update

Ensure that APIv4 Properly filters out permissable fields when no permission to view field exists

Update unit test to match the output of the CRM_Utils_String function

SavedSearch API - Only accept safe inputs

CRM_Utils_String::unserialize() - Add wrapper for parsing safe exprs (int/string/array/etc)

[NFC] Update Doc block as per Patrick

Revert changes in CRM/Core/BAO{Cache|ConfigSetting}.php CRM/Extension/ClassLoader.php CRM/Queue and CRM/Utils/Cache

Return FALSE instead of throwing Exception if package throws Exception

Implement xKerman/restricted-unserialize package to guard against unsafe unserialize

ContactInterchangeTest - Add coverage for APIv4 joins/chains

(security/core#67) Port APIv3's escaping scheme to APIv4

HTMLInputCoder - Add more variants for encoding arrays

Fix unit test for APIv4 format

Fix api_key handling from joins

security/core#65 - Fix XSS in Dashboard Report Title

This fixes an XSS in report titles displayed on the dashboard page
by escaping the title on output.

security/core#65 Fix Display of Report title that contains XSS in it when shown on dashboard

security/core#59 - Fix SQL injection in civicrm/ajax/dedupefind

This fixes an SQL injection in civicrm/ajax/dedupefind by validating
the order direction parameter.

Fixes #59

Merge pull request #15889 from eileenmcnaughton/refund

dev/core#1409 Remove net_amount from Addtional Payment form

dev/core#1409 Remove net_amount from Addtional Payment form

This is causing a validation problem. We used to have an issue on the contribution form which we eventually
resolved by removing net_amount as it's best calculated anyway

In order to make this changed I had to ensure Payment.create adds the net_amount & had
to do a couple of tweaks for the test to pass

Merge pull request #15888 from seamuslee001/lab_core_1406

dev/core#1406 Ensure that we use the CRM_Member_DAO_Membership as dao…

dev/core#1406 Ensure that we use the CRM_Member_DAO_Membership as dao for the civicrm_membership table

Merge pull request #15879 from alifrumin/rn5.20

First pass at sorting and annotating 5.20 release notes

release notes 5.20 - first pass at editing, sorting and annotating

Merge pull request #15846 from greenpeace-cee/fix-cancel-date

Fix contribution cancel_date not being loaded

dev/core#1391 - Fix contribution cancel_date not being loaded

This fixes an issue where the contribution cancel_date is not loaded
in the contribution search, causing cancelled contributions not to be
greyed out and the cancel date not to be shown.

Merge pull request #15872 from eileenmcnaughton/sybunt

Fix Sybunt to select mark rows as selected

Merge pull request #15873 from eileenmcnaughton/cont_ag

dev/core#1377 Fix bug where search action doesn't work.

dev/core#1377 Fix bug where search action doesn't work.

Fixes a regression where the search actions are not working on the contributionAggregate custom search

Fix Sybunt to select mark rows as selected

Merge pull request #15844 from mlutfy/fixMsgTpl

marketing/civicrm-website#163 Mitigate potential upgrade errors on missing msg_templates

marketing/civicrm-website#163 Mitigate potential upgrade errors on missing msg_templates

Merge pull request #15804 from eileenmcnaughton/fns

dev/core#1381 fix fatal on case search (unreleased regression

dev/core#1381 fix fatal on case search (unreleased regression

Merge pull request #15787 from eileenmcnaughton/recur_ug

Remove unhelpful alert from contribution search

Merge pull request #15789 from seamuslee001/5_19_1_version_notes

5.19.1 Version Release Notes

Update 5.19.1.md

Add in release notes for 5.19.1 drop

Remove unhelpful alert from contribution search

Merge pull request #15781 from eileenmcnaughton/cont_search

dev/core#1374 Fix search formValue handling on contribution search

Merge pull request #15782 from seamuslee001/dev_mailing_56_2

Add in unit test for dev/mailing#56 and dev/mailing#57 and also fix i…

dev/core#1374 Fix search formValue handling on contribution search

This fixes 2 issues
1) Search params being lost when editing a related entity per
https://lab.civicrm.org/dev/core/issues/1374
2) force=1&sort_name=p not working in contribution search url

In digging I concluded the problem is we have 3 underlying arrays which we keep jumbling together

1) formValues - the actual submitted values, augmented by any  url passed params
2) the default values - values to load by default on the form
3) our working query params - a copy of formValues that we have prepared for the query

We need to stop mangling them. I added subtle code comments

Add in unit test for dev/mailing#56 and dev/mailing#57 and also fix issue where by mailing_name has been namespaced also in 5.20

Merge pull request #15779 from seamuslee001/dev_mailing_56

dev/mailing#56 dev/mailing#57 Ensure that we don't pass in any namesp…

dev/mailing#56 dev/mailing#57 Ensure that we don't pass in any namespaced fields when building the row array for mailing reports

Merge pull request #15772 from agh1/5.20.0-releasenotes-initial

5.20.0 release notes initial run

5.20.0 release notes: added boilerplate

5.20.0 release notes: raw from script

Merge pull request #15765 from seamuslee001/5.20

dev/core#1376 Catch Invalid Argument Exception when looking for APIv4…

dev/core#1376 Catch Invalid Argument Exception when looking for APIv4 Services

Merge pull request #15762 from seamuslee001/dev_core_1371

dev/core#1371 Fix e-notice caused by trying to pass in known  to the …

dev/core#1371 Fix e-notice caused by trying to pass in known  to the extension downloader when checking requirements

Set version to 5.20.beta1

Merge pull request #15754 from seamuslee001/master

5.19

Merge in 5.19

Set version to 5.19.0

Merge pull request #15752 from agh1/5.19.0-releasenotes-final

5.19.0 release notes: added late changes

Update 5.19.0.md

Merge pull request #15751 from magnolia61/workflow_template_contribution_terms

changed wording to Total Fee & Total Paid

5.19.0 release notes: added late changes

Merge pull request #15748 from eileenmcnaughton/line_item_belt_braces

Provide precautionary handling for theoretical error scenario.

changed wording to Total Fee & Total Paid

Provide precautionary handling for theoretical error scenario.

While testing payments I hit a bug where I tried to add a payment to a contribution with no financial items.

I never managed to replicate it again or determine how the payment came to be in that state but
it's been playing in my mind that people could get fatal errors if the financial_items don't exist
and dealing with those as regression reports will very tough. So my plan is
- for 5.20 add this extra routine to create it if it does not exist
- use this mechanism + more digging to figure out how legit an issue it is https://github.com/civicrm/civicrm-core/pull/15706
- in future releases 'get noisy' about having to create them if they don't exist
- eventually remove this routine

Merge pull request #15740 from eileenmcnaughton/partial

dev/financial#40 Fix for non-allocation of payment to fully reversed checkboxes option

Merge pull request #15745 from seamuslee001/master

Update template upgrade list as per PR #15742

Merge pull request #15750 from eileenmcnaughton/except

[NFC] Cleanup on exceptions

Merge pull request #15744 from yashodha/participant_edit

(dev/core#1065) Participant in Edit mode needs to be shown consistently

Merge pull request #15749 from seamuslee001/Additional_Fixes_to_workflow_templates

Additional fixes to workflow templates

Update template upgrade list as per PR #15742

Cleanup on exceptions

Fixes a low level function to throw a CRM_Core_Exception & tidies up functions
above to specify that. Fixes casing on a function call, removes a fatal
for status bounce

Fix Smarty Syntax in payment_or_refund_notification_text template and update unit tests to match the change in langauge in the templates

Merge pull request #15746 from civicrm/5.19

5.19

Merge pull request #15741 from totten/5.19-volinst

(dev/core#1093) Fix regression during extension activation

Merge pull request #15743 from eileenmcnaughton/validate_test

Fix test to be more valid

Additional changes to workflow message templates

(dev/core#1065) Participant in Edit mode needs to be shown consistently

Fix test to be more valid

I've added a check to run after tests & before tearDown to ensure that all payments have the
right entity_financial_trxn records.

This required fixing one ttest to be valid. It's not possible to create a contribution using the
back office for with status set to Partially Paid (it's not an option in the drop down, so
the test should create as Pending & then add a payment to get to partially paid

(dev/core#1093) Fix permission error when activating extension

Overview
--------

This fixes a recent/unreleased regression from #15726 in which the D7 demo build fails.

Before
------

When running `civibuild reinstall ...` on a `drupal-demo` site, it fails at this step:

```
+++ drush -y cvapi extension.install key=org.civicrm.volunteer debug=1
Authorization failed                                                                                                                                                   [error]
Array
(
    [error_code] => unauthorized
    [entity] => Extension
    [action] => install
    [trace] => #0 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Kernel.php(166): Civi\API\Kernel->authorize(Object(Civi\Api4\Provider\ActionObjectProvider), Object(Civi\Api4\Generic\DAOSaveAction))
1 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/Api4/Generic/AbstractAction.php(235): Civi\API\Kernel->runRequest(Object(Civi\Api4\Generic\DAOSaveAction))
2 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Utils/Migrate/Import.php(374): Civi\Api4\Generic\AbstractAction->execute()
3 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Utils/Migrate/Import.php(82): CRM_Utils_Migrate_Import->customFields(Object(SimpleXMLElement), Array)
4 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/CRM/Volunteer/Upgrader.php(836): CRM_Utils_Migrate_Import->runXmlElement(Object(SimpleXMLElement))
5 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/CRM/Volunteer/Upgrader.php(48): CRM_Volunteer_Upgrader->executeCustomDataTemplateFile('volunteer-custo...')
6 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/CRM/Volunteer/Upgrader/Base.php(306): CRM_Volunteer_Upgrader->install()
7 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/volunteer.civix.php(131): CRM_Volunteer_Upgrader_Base->onInstall()
8 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/tools/extensions/civivolunteer/volunteer.php(204): _volunteer_civix_civicrm_install()
9 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Extension/Manager/Module.php(76): volunteer_civicrm_install()
10 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Extension/Manager/Module.php(48): CRM_Extension_Manager_Module->callHook(Object(CRM_Extension_Info), 'install')
11 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/CRM/Extension/Manager.php(264): CRM_Extension_Manager_Module->onPreInstall(Object(CRM_Extension_Info))
12 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/api/v3/Extension.php(58): CRM_Extension_Manager->install(Array)
13 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Provider/MagicFunctionProvider.php(101): civicrm_api3_extension_install(Array)
14 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Kernel.php(168): Civi\API\Provider\MagicFunctionProvider->invoke(Array)
15 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/Civi/API/Kernel.php(99): Civi\API\Kernel->runRequest(Array)
16 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/api/api.php(23): Civi\API\Kernel->runSafe('extension', 'install', Array, NULL)
17 /Users/myuser/bknix/build/dmaster/web/sites/all/modules/civicrm/drupal/drush/civicrm.drush.inc(1557): civicrm_api('extension', 'install', Array)
18 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/command.inc(422): drush_civicrm_api('extension.insta...', 'key=org.civicrm...', 'debug=1')
19 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/command.inc(231): _drush_invoke_hooks(Array, Array)
20 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/command.inc(199): drush_command('extension.insta...', 'key=org.civicrm...', 'debug=1')
21 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/lib/Drush/Boot/BaseBoot.php(67): drush_dispatch(Array)
22 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/preflight.inc(66): Drush\Boot\BaseBoot->bootstrap_and_dispatch()
23 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/startup.inc(465): drush_main()
24 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/includes/startup.inc(369): drush_run_main(false, '/', 'Phar detected. ...')
25 phar:///Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar/drush(114): drush_startup(Array)
26 /Users/myuser/bknix/civicrm-buildkit/extern/drush8.phar(10): require('phar:///Users/t...')
27 {main}
    [is_error] => 1
    [error_message] => Authorization failed
)
```

After
-----

It works again.

Merge pull request #15738 from agileware/CIVICRM-1354

Fix the relationship direction in testSingleMembershipForTwoRelationships

Fix for non-allocation of payment to fully reversed checkboxes option

This addresses an issue partially identified in https://lab.civicrm.org/dev/financial/issues/98 whereby
civicrm_entity_financial_trxn records for the civicrm_financial_item table are not created when
refunding against line items with a quantity of zero  - ie where there were selected checkboxes & they
were reversed.

The reason this check was there relates to former logic - now we have a calculated allocation
we don't need this check.

I want to do a test but need to do a bit of work to get it set up & I think this should hit 5.20
as it relates to an issue identified by Kevin in reviewing patches merged to that version

Merge pull request #15731 from eileenmcnaughton/rel_clean

dev/core#1361 Fix bug where 2 memberships created for same relationship

Merge pull request #15556 from demeritcowboy/convert-label-to-name-2

Upgrade script for dev/core#1046

CIVICRM-1354 fix test