Merge pull request #12515 from civicrm/5.4

5.4 to master

Merge pull request #12514 from seamuslee001/5-3-1-update-notes

Update 5.3.1 Release Notes to include final SA

Update 5.3.1 Release Notes to include final SA

Merge pull request #12503 from eileenmcnaughton/strtolower_1

Remove LOWER from street_address search, rely on mysql to handle.

Merge pull request #12483 from colemanw/DAODefault

Respect '0' as a default when generating DAOs

Merge pull request #12511 from eileenmcnaughton/master

Merge 5.4 to master

Merge branch '5.4' of https://github.com/civicrm/civicrm-core

Merge pull request #12504 from eileenmcnaughton/yashi

Fix misformatted start_date default on new contribution page

Add in 5.3.1 Release notes

Add escape to various lines in merge.tpl

Escape js strings in smarty templates

security/core#3 Improve output escaping for errors

- In the template, use either `escape` or `purify` for all outputs.
- Remove `htmlspecialchars()` call in PHP since it's now happening in
  Smarty via `escape`.

security/core#2 Harden some of the "mode" inputs

security/core#1 Escape outputs in report stats

Resolve #19 Fix regression following upgrade to latest CKEditor by getting uploaded file response back in json

Update to latest CKEdtior

Add HTML purification to status messages

This is a security protection measure that protects us just a little bit
more against XSS.

security/core#14 Add output encoding within js

security/core#14 Validate "context" inputs

When "context" is passed as a GET parameter, ensure that its values is
a valid "Alphanumeric" type. This helps prevent XSS when the "context"
value finds its way into templates that lack HTML output encoding.

Replace...

    CRM_Utils_Request::retrieve\((['"])context\1,(\s*)(['"])String\3

...with...

    CRM_Utils_Request::retrieve\($1context$1,$3Alphanumeric$3

Also search for the following and manually fix:

    \$_GET\[(['"])context\1\]
    \$_POST\[(['"])context\1\]
    \$_REQUEST\[(['"])context\1\]

Merge pull request #12492 from eileenmcnaughton/msg_fix

dev/core/#/258 Fix message update routine.

Merge pull request #11197 from agileware/CRM-21104

CRM-21104: Forcing reCaptcha on Contribution pages(with online payments) which have no Profile associated with them.

Merge pull request #12499 from wannesderoy/patch-4

Allow Drupal 8 vendor folder outside webroot

Merge pull request #12508 from civicrm/5.4

5.4 to master

Merge pull request #12502 from eileenmcnaughton/no_pay

Prevent financial transactions from being saved with no payment instr…

Merge pull request #12469 from eileenmcnaughton/export_extract

Export cleanup Extract bulk of the transformation for each field to its own function

Merge pull request #12489 from eileenmcnaughton/mergees

dev/core/#/233 Expose information about where a contact has been merged to

Merge pull request #12507 from eileenmcnaughton/report_test_fix

Fix enotice in test

Fix enotice in test

Not sure how the last fix got merged - did I misread the test result - this was a clear error

Fix misformatted start_date default on new contribution page

Unreleased regression from https://github.com/civicrm/civicrm-core/pull/11881
see https://lab.civicrm.org/dev/core/issues/263

Merge pull request #12500 from pradpnayak/28

dev/financial/issues/28, Financial Account cannot be change to non de…

Remove LOWER from street_address search, rely on mysql to handle.

Per https://github.com/civicrm/civicrm-core/pull/12494 the use of LOWER
- hurts performance
- fails to return results on some char sets
- messes with REGEX

This is part of a continued (we removed from contribution search fields last year)
staggered approach to removing this old mechanism

Merge pull request #12487 from agh1/rel-permission-icon-titles-aydun

dev/core#34 Add permission details in `title` attribute of icons

Fix failing test

Prevent financial transactions from being saved with no payment instrument

Merge pull request #12490 from eileenmcnaughton/report

Test fix, use separate emails so distinct doesn't meld them

dev/financial/issues/28, Financial Account cannot be change to non deductible

Allow Drupal 8 vendor folder outside webroot

Test fix, use separate emails so distinct doesn't meld them

A change was merged today that would have required this change to the test to pass. However,
tests were not re-run & it was missed.

a DISTINCT is used so 2 separate emails make sense to test this

Merge pull request #12485 from eileenmcnaughton/queryFields

Export cleanup - pass processor object rather than the query object

Fix message update routine.

Turns out this was seeming to pass but not because the test wasn't running.

Merge pull request #12468 from eileenmcnaughton/export_return

Minor refactor preparatory to function extraction

dev/core/#/233 Use merged data api to display navigation help on contact deleted by merge

dev/core/#/233 Add apis to retrieve information about the ultimate destination contact and source contacts for merged contacts.

This 'data structure' is 'owned' by core & somewhat subject to future change so establishing a tested methodology for retrieving contact history in
core can support extensions such as
- extended reports - which exposes an address_history tab
- privacy extensions - which need to recover and potentially delete contacts that were merged
into the current contact

Merge pull request #12482 from mattwire/nfc_cc_premium_financial

NFC cleanup to financial classes

Merge pull request #12230 from JMAConsulting/dev_core_150

dev/core#150 : Chain select for country/state in Search Builder does not stay within OR groupings

Merge pull request #12486 from eileenmcnaughton/savedSearch

dev/core#230 : set mapping id null on delete action

Set, don't pass queryOperator

Start passing around processor instead of query object

Extract bulk of the transformation for each field to its own function

Minor refactor preparatory to function extraction

Respect '0' as a default when generating DAOs

Merge pull request #12415 from aydun/core-34-v2

core-34 Add view-only option on permissioned relationships

dev/core#34 relationships: add display names and permission explanation as title for permission icons

NFC: make phpcs happy with spacing and no caps for `and` and `or`

dev/core#230 : set mapping id null on delete action

Merge pull request #12452 from colemanw/arrayPath

Cleanup redundant array functions

Merge pull request #12460 from freephile/patch-1

Fix false negatives in checkResourceUrl()

Merge pull request #12484 from eileenmcnaughton/queryFields

Export code tidy up Use queryFields rather than query. Look to stop passing around query.

Merge pull request #11660 from JMAConsulting/CRM-21754

CRM-21754: Duplicate rows in Activity Details report when address fields are displayed

Fix false positives in checkResourceUrl()

Without this proposed fix, I'm receiving false errors about the CiviCRM Resource URL not being set correctly.

The stripos() function will return '0' if the needle string is the first thing found in the haystack. Thus, you must use equivalence rather than a true/false test where "position zero" evaluates to false.

Tested on Civi 5.3.0 on WordPress 4.9.7

I can access http://coastaltrails.org/wp-content/plugins/civicrm/civicrm/packages/jquery/css/images/arrow.png But WITHOUT the fix, I get an error
```
The Resource URL is not set correctly. Please set the CiviCRM Resource URL.
```
I have CiviCRM Resource URL set to `[civicrm.root]/`

My URL Variables are calculated as:
```
[cms.root] http://coastaltrails.org/
[civicrm.root] http://coastaltrails.org/wp-content/plugins/civicrm/civicrm/
[civicrm.files] http://coastaltrails.org/wp-content/uploads/civicrm/
These variables are computed automatically using civicrm.settings.php and its options, such as CIVICRM_TEMPLATE_COMPILEDIR.
```

Use queryFields rather than query. Look to stop passing around query.

Merge pull request #12479 from eileenmcnaughton/export_class

Export class code cleanup Start building export processor class.

NFC cleanup to financial classes

Start building export processor class.

A fundamental cause of code mess in the Export class is that it is a mishmash of static functions with variables passed around crazily. This starts the process of moving work to a object oriented class.

I think this migratory approach is the best plan to clean up the code

I did move some vars to being accessed via 'self' but there is leakage across tests so going
full OOO seems like a better approach

Merge pull request #12453 from eileenmcnaughton/activity_report

Fix activity report to bring it under standardised report testing

Alter temp report creation to
a) use new temp table mechanism and
b) add sql to dev tab and
c) make temp table cleanup easier in tests

Fix activity report to bring it under standardised report testing

Merge pull request #12423 from mattwire/optiongroup_isreserved

dev/core#155 Fix optiongroup is_reserved data and use when selecting option group for custom fields

Merge pull request #12474 from mattwire/deprecate_bao_managepremiums

Rename CRM_Contribute_BAO_ManagePremiums to CRM_Contribute_BAO_Product and deprecate CRM_Contribute_BAO_ManagePremiums

Merge pull request #12352 from MiyaNoctem/CRM-188-fix-floating-point-comparison

dev/core#188: Fix Floating Point Precision Comparison Exception

Merge pull request #12315 from mattwire/CRM-21682_onlyrenewmembershipwhencompleted

Only auto-renew membership when contribution status is completed

Merge pull request #12477 from seamuslee001/membership_type_test_comment

(NFC) Update comment on membership type domain_id API Test

Merge pull request #12478 from seamuslee001/optiongroup_regen_dao

(NFC) Regenerate OptionGroup DAO file

Merge pull request #12476 from colemanw/navigation

BAO_Navigation: Respect domain_id param

Add test, remove redundant api default

Add unit test for Membership renewal when contribution not completed

Don't overwrite Product parameters on update

Only auto-renew membership when contribution status is completed

Merge pull request #12312 from colemanw/multiRecordCustomProfile

Disable inline-edit of multi-record custom fields in profiles

(NFC) Regenerate OptionGroup DAO file

(NFC) Update comment on membership type domain_id API Test

BAO_Navigation: Respect domain_id param

Merge pull request #12461 from eileenmcnaughton/domain_id

Make domain_id optional in membership_type api.

Merge pull request #12472 from eileenmcnaughton/add_product

Remove unused variables & comment cleanup

Rename CRM_Contribute_BAO_ManagePremiums to CRM_Contribute_BAO_Product and deprecate CRM_Contribute_BAO_ManagePremiums

Fix is_reserved flag on option groups

Comment clean up

Remove redundant variables

Merge pull request #12464 from jaapjansma/issue_141

Fixed #141: only check if name exists.

Merge pull request #12465 from WeMoveEU/core-256

dev/core#256 - use unsigned int for temporary recipient ids

Merge pull request #12320 from mattwire/export_form_select_tweaks

Non functional changes towards shared functions in Core_Form_Task

dev/core#256 - use unsigned int for temporary recipient ids

CRM-188: Fix Floating Point Precision Comparison Exception

Under certain circumstances, floating point comparison between set and
calculated values may fail, even if they should be equal. This is due to the
way floating point values are represented internally in binary form. To avoid
this problem, comparison needs to be made using an expected precision below
which compared values may be treated as equal. Implemented  precision of 0.001
and used it to check the difference between both values is less.

Merge pull request #12290 from eileenmcnaughton/export

Export class code readability - Reduce passing of variable, define on class

Merge pull request #12462 from seamuslee001/nfc_kamra_cv

(NFC) Ignore generated karma.cv.js file

Fixed #141: only check if name exists.

(NFC) Ignore generated karma.cv.js file

Ingore /tmp as per tim

Make domain_id optional in membership_type api.

This is in support of #12439 & making domain_id optional

Merge pull request #12456 from chamilwijesooriya/issue-93

Issue #93 Update CRM_Utils_Rule::mysqlOrderBy() to accommodate more than 2 joins

Merge pull request #10673 from JMAConsulting/CRM-20845

CRM-20845: create alterMailingRecipients hook