Merge pull request #18332 from totten/5.29-norm-basepage

dev/wordpress#73 - Be more forgiving about slash in wpBasePage

dev/wordpress#73 - Be more forgiving about slash in wpBasePage

Overview
--------

The correct functioning of `wpBasePage` depends on whether the administrator
omitted or added a trailing slash.  This is apparent on URLs with a trailing slash, eg

```
http://wpmaster.bknix:8001/civicrm/contribute/transact/?reset=1&id=1
```

Make it less sensitive.

Before
------

URL is OK with default setting `wpBasePage=civicrm`

URL fails with setting `wpBasePage=civicrm/`

After
-----

URL is OK with either setting `wpBasePage=civicrm` or `wpBasePage=civicrm/`

Technical Details
-----------------

I believe the old symptom arose because of the formula which produces the WP
rewrite rules (`'^' .  $config->wpBasePage .  '/([^?]*)?'`) expects that
there is no trailing slash. You could theoretically patch there, but this
seems like it'll provide more thorough normalization.

When testing, the results affect the WP rewrite rules, so you may need to be particularly
aggressive about clearing caches whenever you make a change in code or settings, eg

```
wp cache flush ; cv flush;  wp rewrite flush
```

Merge pull request #18326 from agh1/5.29.0-releasenotes

5.29.0 release notes final

5.29.0 release notes: get sections in right order

5.29.0 release notes: finished writing

sorting and annotating

commenting and sorting

5.29 Release Notes first pass

Merge pull request #18319 from seamuslee001/5.29

5.28.4 release notes

Fix anchors in release-notes/5.28.3.md

Add release-notes/5.28.4.md

Merge pull request #18272 from eileenmcnaughton/custchange

dev/core#1974 Fix incorrect handling of serialize key when changing custom field type

Merge pull request #18307 from agh1/5.29.0-releasenotes-initial

5.29.0 release notes initial run

Merge pull request #18310 from colemanw/revert-18005

Revert #18005 Fix buggy placement of icons

dev/core#1974 - ChangeFieldType - "Select (w/serialize)" field should be treated like older "Multi-Select" fields

Revert #18005 Fix buggy placement of icons

Merge pull request #18304 from highfalutin/noah/dev-core-1974

dev/core#1974: correct UI regression on custom field edit

5.29.0 release notes: yank changes already in 5.8.x

5.29.0 release notes: added boilerplate

5.29.0 release notes: raw from script

Merge pull request #18290 from eileenmcnaughton/tax

dev/core#1983 Fix to tax calculation on multi-line-item

Custom field create/edit form: replace dysfunctional checkbox with static label in edit mode

Merge pull request #18301 from demeritcowboy/dev-core-1982-5.29

dev/core#1982 - 5.29 version of PR 18282

faulty check for simplexml node value - see also PR 18282

dev/core#1983 Fix to tax calculation on multi-line-item

This is similar to https://github.com/civicrm/civicrm-core/pull/18284 - it differs in that the totals are calculated by iterating
through the line item array afterwards, rather than expecting the 'getLine' function to calculate totals. Some
obvious follow ups suggest themselves but I will look against master.

This is difficult to test (Karin gave it a really good shot) because of the weird way it's calculated in Main and thenn
used in Confirm. Cleanup should resolve the testability issue too

Merge pull request #18271 from eileenmcnaughton/tax529

dev/core#1972 Fix tax_amount calclation on renewal form

dev/core#1974 Fix incorrect handling of serialize key when changing custom field type

See https://lab.civicrm.org/dev/core/-/issues/1974

dev/core#1972 Fix tax_amount calclation on renewal form

Merge pull request #18230 from seamuslee001/5.29

Update contributor key for Andrew

Update contributor key for Andrew

Merge pull request #18228 from seamuslee001/5.29

5.28.2 & 5.29.3 Release Notes

Add release-notes/5.28.2.md

Add release-notes/5.28.3.md

Merge pull request #18223 from eileenmcnaughton/529deupe

dev/core#1964 Fix regression bug on deduping contacts with dedupe_exception matches

dev/core#1964 Fix regression bug on deduping contacts with dedupe_exception matches

I want to do another pass on this & do more SELECT queries & less UPDATE queries so we are doing
less locking - but for now this should get us past the logged regression

Merge pull request #18214 from eileenmcnaughton/dedupe

Fix dedupe regression whereby deleted contacts are found

Fix dedupe regression whereby deleted contacts are found

This affects api calls where check_permissions = TRUE and getduplicates is called. This can be
done via the api (per this test) or ann easy UI way is with the deduper extension but it should
also affect the 'normal' dedupe screen.

Note that there can be cases where the dedupe results are cached into prevnext cache to hide this

Merge pull request #18206 from chamilwijesooriya/issue-1959

dev/core#1959 Brick\Math\Exception\RoundingNecessaryException

Merge pull request #18213 from eileenmcnaughton/is_deleted

Fix regression whereby deleted contacts are in quicksearch results

Fix regression whereby deleted contacts are in quicksearch results

dev/core#1959 Brick\Math\Exception\RoundingNecessaryException

Merge pull request #18205 from demeritcowboy/expandy

dev/core#1963 - Expanded icon on manage groups appears as unknown icon

Merge pull request #18204 from eileenmcnaughton/529

dev/core#1961 Fix regression - cancel button not working on recurring contributions

specify font

dev/core#1961 Fix regression - cancel button not working on recurring contributions

Note this form only shows for some processors. To test an easy way is to edit
CRM_Core_Payment::supportsCancelRecurring to return FALSE

Then attempt to cancel a recurring contribution - the cancel button does not launch a form
without this.

Regression from
https://github.com/civicrm/civicrm-core/pull/17178/files#diff-63d76bd172c85725aaf2e76247b86354L11

https://lab.civicrm.org/dev/core/-/issues/1961

Merge pull request #18200 from seamuslee001/5.29

(dev/core#1846) Container, ClassLoader Caches - Separate caches by ve…

(dev/core#1846) Container, ClassLoader Caches - Separate caches by version number

Before
------

If you load a new version of the CiviCRM codebase, then a freshness check
should cause the container cache to reset automatically (based on the fact
that various files have new timestamps).

However, it's possible that some kind of bug or omission prevents this from working.
Many developers won't notice such a bug because they're obsessive-compulsive
about clearing caches anyway.

After
-----

If you load a new version of the CiviCRM codebase, then it should use a new
container cache - regardless of how well the freshness check works.

Jenkins style fix

Copy-edits for 5.28.1.md

Add in release notes for 5.28.1

security/core#95 Purify Summary and description fields for events on the event info and event cart screens

security/core#96 Escape the profile description field

Apply edit groups permission check to the button not the generaal permissionedForGroup check

[REF] Only show button to edit smart group if user has permissions

Security/core#61 Limit Access to update smart group task to only if the logged in user has edit groups permission.

Put a permission restriction on loading page without manage groups permission when saved search id is specified in the URL

security/core#94 Escape subject content when loading the Activity list for a contact

Fix auto-refresh of CKEditor configurator form

Convert CK Config form to quickform

CKEditor Config - Validate input before saving config file

Also removes support for 'customConfig' supplimental file.

CRM_Utils_JS - Improve validation of strings

Runs strings through json_decode to ensure they are valid.
Optionally throws an exception on error.

security/core#78 Purify HTML of activity details field when viewing the activity

CRM_Core_Key - Strengthen signature algorithm

This alters the qfKey signature algorithm, with a few aims:

1.  If someone wants to perform a brute-force to figure the per-session
    private-key, we want it go slow.  Therefore, use a slower hash (ie
    HMAC-SHA256 instead of MD5).

2.  If someone performs a timing attack aimed at figuring a passable qfKey,
    the execution-time for `validate()` should not provide any hints.

3.  If someone finds a way to manipulate one of the constituent parts
    ($sessionID, $name, $privateKey), we want it to be hard to create a
    collsion. So... (a) Use HMAC instead of a vanilla hash. (b) Use delimiters
    between the data sections ($sessionID, $name).

CRM_Core_Key - Improve entropy of "privateKey"

In PHP 4/5, there was no good, universal source of entropy.  The old code
mitigated this by aggregating mediocre sources.  On my system, it appears
to be roughly:

* 2^31 for each `mt_rand()`
* 10^8 =~ 2^26 for each `uniqid(...TRUE)` (after discounting the non-random right half of the uniqid).

So that's ~114 bits (albeit low-quality bits).

In PHP 7, the docs describe `random_bytes()` as "generat[ing] cryptographically secure pseudo-random bytes."

Additional code from Drupal's implementation

Update to use code from Drupal's patch

Patch jQuery for CVE-2020-11022 and CVE-2020-11023

security/core#81 Escape html in CRM_Core_LegacyErrorHandler messages

security/core#74 Prevent CSRF in CKEditor Config screen by switching to using Quickform built form

Merge pull request #18180 from eileenmcnaughton/recur

dev/core#1945 Fix recur access regression

dev/core#1945 Fix recur access regression

Merge pull request #18174 from demeritcowboy/d8-upgrade-warning

dev/core#1937 - Upgrade message about needing composer patching turned on and updating mysql in DSN strings

Merge pull request #18185 from civicrm/revert-18091-xbutton-529

Revert "Swap out button/submit inputs for button elements"

Revert "Swap out button/submit inputs for button elements"

upgrade message about composer patches

Merge pull request #18175 from demeritcowboy/installation-doclinks

Installation doclinks not getting url-rewritten

installation doclinks

Merge pull request #18166 from demeritcowboy/cvv-required

cvv required html attribute should depend on backoffice setting

required

Merge pull request #18163 from seamuslee001/5.29

[REF] Remove unnecessary comma

[REF] Remove unnecessary comma

Merge pull request #18133 from eileenmcnaughton/utf529

Fix 5.29 (unreleased) regression using temp tables

Merge pull request #18149 from seamuslee001/dev_core_1952

dev/core#1952 Remove uncessary component checking when exporting all …

Fix 5.29 regression using temp tables

I just pushed 5.29rc through our WMF CI & it failed on a situation where it created a temp
table and that got joined on a non-temp table with a collation mix error. The issue is that the
DB default is set to utf8_general_ci (at least on our development DBs) whereas the
civicrm tables are utf8_unicode_ci. Until https://github.com/civicrm/civicrm-core/pull/18012/files
there was a list of permitted matches for db collation but now any 'utf' string matches.

From what I can tell utf8_general_ci  is a pretty common collation on drupal DBs and from my tests
it causes problems if not excluded here

dev/core#1952 Remove uncessary component checking when exporting all activities

Merge pull request #18144 from seamuslee001/dev_core_1953

dev/core#1953 Ensure that Contribution pages do not fail validation o…

dev/core#1953 Ensure that Contribution pages do not fail validation on credit cards when a zero dollar price is offered

Merge pull request #18126 from eileenmcnaughton/dupe529

dev/core#1934 fix regression on merging contacts with settings using contact_id

Merge pull request #18123 from seamuslee001/dev_core_1936_alternate

dev/core#1936 Make the price field value label field not required

dev/core#1934 fix regression on merging contacts with settings using contact_id

This is an interim fix to a reported regression. I'll look at more carefully in master when time permits

dev/core#1936 Make the price field value label field not required

Fix test and ensure default value is NULL

Merge pull request #18091 from agh1/xbutton-529

Swap out button/submit inputs for button elements

Merge pull request #18101 from demeritcowboy/eventcart-settingcheck

dev/event#40 - EventCart - Check legacy setting until extension is public

check legacy setting until extension is public

Merge pull request #18068 from seamuslee001/dev_wordpress_66

dev/wordpress#66 Re-instate newer variables but with more support for…

Merge pull request #18092 from seamuslee001/preimum_onbehalfof_fix

[REF] Fix jquery validation for on behalf of fields when combined wit…

[REF] Fix jquery validation for on behalf of fields when combined with a preimum

Merge pull request #17950 from lcdservices/dev-core-1895

dev/core#1895 fix first/last name adv search

More radical cleanup of button CSS

Fix CSS for new buttons

Fix JS for input buttons that are now button buttons