security/core#40 Purify activity details when viewing case activities and case reports

CIV-01-021 - Improve entity name sanitization

Before
------

* There exist two functions which purport to take an API entity name and sanitize it,
  producing a canonical API entity name. (`\Civi\API\Request::normalizeEntityName`
  and `_civicrm_api_get_camel_name`)
* The two functions are identical for typical inputs. Both call `convertStringToCamel()`.
* The difference relates to unusual/unspecified input characters like `/` or `.` or `+`.
   * `_civicrm_api_get_camel_name()` allows/returns unusual characters.
   * `normalizeEntityName()` filters them out via `\CRM_Utils_String::munge()`

After
-----

* `_civicrm_api_get_camel_name()` just calls `normalizeEntityName()`
* A unit-test provides some comparison/contrast between the old+new behaviors.

Comments
--------

I came into this because CIV-01-021 pointed out that `_civicrm_api_get_camel_name()` had
insufficient sanitization of wonky inputs and could potentially lead to unexpected file-reads.

You can potentially address those wonky inputs by filtering them out or by throwing an exception.
I initially started doing an exception... but it turned out that `normalizeEntityName()` was already
filtering out and didn't really need a change. Also, regardless of the policy, the functions should be
brought into alignment.

Anyway, it seemed like this was the simpler change - it keeps `normalizeEntityName()` working exactly
as before, and only changes `_civicrm_api_get_camel_name()` to match.

security/core#73 - Fix Contact.getquick API key exposure

This fixes an issue where API keys can be exposed via the field_name
parameter of the Contact.getquick API. Since there is no valid use-case
for requesting API keys via getquick, the fix simply triggers an API
error if the API key is requested.

Update 5.24.2.md

Fix version number in title.

Merge pull request #17040 from totten/5.24-bump2

Update to 5.24.2. Add release notes.

Merge pull request #17039 from seamuslee001/524

Revert "temp workaround for dev/core#1675"

Add release-notes/5.24.2

Revert "temp workaround for dev/core#1675"

This reverts commit fcd23b884537a19ff2acbc98ca20a43f292c4c42.

Set version to 5.24.2

Merge pull request #17036 from seamuslee001/5.24

CRM_Core_I18n - Provide a better label for new/unknown locales

CRM_Core_I18n - Provide a better label for new/unknown locales

Overview
--------

Suppose you add new/unrecognized data files in the `l10n` folder - and then
you navigate to the screen `civicrm/admin/setting/localization?reset=1`.

Before
------

The new language appears in the admin UI as a blank item.

Every page in the app displays a warning about the unrecognized locale.

After
-----

The new language appears in the admin UI with a placeholder name (based on the code).

The warnings are not displayed.

Comment
-------

We've just had an issue where a new language was added to the `l10n`
data-set, and then all automated test-suites for all versions (incl `5.25`
RC and `5.24` stable) started to throw blocker errors on unrelated PRs.
This is because the `l10n` data is generally evergreen, but each branch/tag
of `civicrm-core` has the list hard-coded in multiple spots.

This patch tries to make the symptom less painful when mixing/matching
different revisions of `civicrm-core.git` and `l10n.git`.

Merge pull request #17010 from colemanw/fixhookissue24

Fixed fatal error for class not found when managed hook is invoked during upgrade

Merge pull request #17017 from seamuslee001/nl_be_524

add nl_BE language

add nl_BE language

Fixed fatal error for class not found when managed hook is invoked during upgrade

Merge pull request #16977 from totten/5.24-bump1

Set version to 5.24.1. Add notes.

Add release-notes/5.24.1

Set version to 5.24.1

Merge pull request #16972 from totten/5.24-seqcredit

dev/financial#84 - Fix upgrade failure. Thin-out activation logic for `sequentialcreditnotes`.

dev/financial#84 - Simplify upgrader. Fix "wp-demo" upgrade scenario.

Steps to reproduce
------------------

* Create a site based on `wp-demo` with Civi 5.21
* Make a DB snapshot
* Update code to 5.24
* In the web UI, run the DB upgrade
    * Note: It's important to use the web UI. The problem does not reproduce in CLI.

Before
------

The upgrader freezes on "Upgrade DB to 5.24.alpha1". The `CiviCRM.log` includes:

```
Apr 03 14:41:50  [info] Running task: Upgrade DB to 5.24.alpha1: SQL

Apr 03 14:41:55  [info] Running task: Install sequential creditnote extension

Apr 03 14:42:14  [info] $CRM_Queue_ErrorPolicy_reportError = Array
(
    [is_error] => 1
    [is_continue] => 0
    [exception] => Error 1: Uncaught Error: Class 'CRM_Volunteer_Permission' not found in /home/me/bknix/build/wpmaster/web/wp-content/plugins/civicrm/civicrm/tools/extensions/civivolunteer/volunteer.php:497
Stack trace:
0 /home/me/bknix/build/wpmaster/web/wp-content/plugins/civicrm/civicrm/CRM/Utils/Hook.php(286): volunteer_civicrm_permission(Array)
1 /home/me/bknix/build/wpmaster/web/wp-content/plugins/civicrm/civicrm/CRM/Utils/Hook/WordPress.php(139): CRM_Utils_Hook->runHooks(Array, 'civicrm_permiss...', 1, Array, NULL, NULL, NULL, NULL, NULL)
2 /home/me/bknix/build/wpmaster/web/wp-content/plugins/civicrm/civicrm/Civi/Core/CiviEventDispatcher.php(86): CRM_Utils_Hook_WordPress->invokeViaUF(1, Array, NULL, NULL, NULL, NULL, NULL, 'civicrm_permiss...')
3 /home/me/bknix/build/wpmaster/web/wp-content/plugins/civicrm/civicrm/vendor/symfony/event-dispatcher/EventDispatcher.php(184): Civi\Core\CiviEventDispatcher::delegateToUF(Object(Civi\Core\Event\GenericHookEvent), 'hook_civicrm_p
    [last_task_title] => Install sequential creditnote extension
)
```

After
-----

The upgrade completes. After installation, the `sequentialcreditnotes` extension is active.

Merge pull request #16963 from seamuslee001/dev_core_1688_524

core#1688 - false positive on missing custom field check

core#1688 - false positive on missing custom field check

Set version to 5.24.0

Merge pull request #16944 from alifrumin/5.24-rn

[NFC] adding late changes to release notes for 5.24

late changes to release notes

Merge pull request #16937 from seamuslee001/5.24

[REF] Fix handling of owner url parameter from Membership Dashboard

[REF] Fix handling of owner url parameter from Membership Dashboard

Merge pull request #16933 from eileenmcnaughton/member_search

dev/user-interface#14 Fix membership_status_id url handling (recent regression).

Merge pull request #16930 from eileenmcnaughton/524

dev/core#1677 Fix multisite regression on domain membership types

Merge pull request #16932 from eileenmcnaughton/mailing_name

dev/core#1656 Remove duplicate label

dev/user-interface#14 Fix membership_status_id url handling (recent regression).

The right fix here is to fix the xml to the  field setting it to export & adding a uniquename.

However, with our search focus moving on to the new search functionality in the pipeline & us having had
a hiatus on dealing with  search  code I think this more conservative change + a rc focus makes sense
at the  moment

Remove duplicate label

Merge pull request #16926 from demeritcowboy/quickfix-case-addtimeline

dev/core#1675 - Temporary regression fix for case add timeline

dev/core#1677 Fix multisite regression on domain membership types

Fixes a regression where membership types bleed between domains

temp workaround for dev/core#1675

Merge pull request #16842 from demeritcowboy/lang-install-crash

dev/translation#40 - Fix crash when change language on installer page

Merge pull request #16891 from seamuslee001/5_23_4_release_notes

Add release-notes/5.23.4.md

Merge pull request #16887 from totten/5.24-dbl-path

dev/joomla#26 - Fix path derivation when CMS is rooted in a subdir

Add release-notes/5.23.4.md

(NFC) Update comments in PathsTest.php

dev/joomla#26 - Fix path derivation when CMS is rooted in a subdir

Overview
--------

CiviCRM is deployed inside a CMS. The CMS is usually deployed at the HTTP root (`http://example.org`),
but it is sometimes deployed in a subdirectory (`http://example.org/my-cms`).

Some asset URLs are computed using the variables `[civicrm.bower]`, `[civicrm.packages]`, and `[civicrm.vendor]`, which
are derived from the value of `[civicrm.root]`.  However, if the site is deployed in a subdirectory, and if using v5.23,
then the computation of `[civicrm.bower]` (etc) can misbehave.

Before
------

When the URL for `[civicrm.bower]` (or similar) is derived, it goes through multiple filters - first, from absolute to
relative, and then later from relative back to absolute.  In the process, the base is inadvertently changed.

After
-----

When the URL is derived, it is computed in absolute format - and simply kept that way.

Comments
--------

Regarding test coverage, there are two relevant unit-tests. This PR only updates one.

* `E2E\Core\PathUrlTest`: This is a more concrete smoke test which demonstrates functional problems with variables like
  `[civicrm.bower]`.  It should already catch problems like dev/joomla#26...  but only if you run the E2E suite on a system
  where the CMS was deployed to a subdirectory.  `civibuild` doesn't currently include such a build-type.
* `Civi\Core\PathsTest`: This is a more abstract, headless test to examine edge-cases in `Civi\Core\Paths`. It does not
  specifically check for `[civicrm.bower]` or similar variables (b/c the URL routing is ill-defined in a headless context).
  However, I've updated it to compare/contrast the working and non-working ways to derive variables.

Merge pull request #16876 from colemanw/ssFix

Fix undefined index warning in SavedSearch api

Merge pull request #16702 from seamuslee001/5.24

bin/*, extern/* - Fix leak of "$config" in global namespace

Fix undefined index warning in SavedSearch api

Merge pull request #16834 from colemanw/apiGroup

APIv4 - Improve saveSearch popup in Explorer

APIv4 - Improve saveSearch popup in Explorer

Merge pull request #16858 from eileenmcnaughton/5.24

dev/core#1662 - Saved mappings doesn't work for all use cases

dev/core#1662 - Saved mappings doesn't work for all use cases

Merge pull request #16841 from seamuslee001/ckeditor_4_14_upgrade

Update CKEditor 4.14

fix crash when change language on installer page

Update CKEditor 4.14

Merge pull request #16830 from alifrumin/rn-5.24

[NFC] release-notes 5.24 first pass

release-notes 5.24 first pass

Merge pull request #16752 from eileenmcnaughton/ext24

Fix fatal error on loading extension page when an extension has been deleted

Merge pull request #16796 from seamuslee001/notes_5_23_3

release-notes/5.23.3.md

release-notes/5.23.3.md

Merge pull request #16791 from totten/5.24-dot

(REF) dev/core#1637, dev/core#1651 - Restore format of packagesBase

(NFC) Document format of packagesBase, resourceBase.

Try to prevent future bounciness in changing these variables.

dev/core#1637 - Restore format of packagesBase

These use-cases had been tested during PR dev for 5.23.alpha, but they
regressed in 5.23.1.  In 5.23.1's #16735, note item (5) and the flip-flop on
`/.` Item (5) references some greps to find references `/.` For obscure
reasons, the  file `l10n.js.tpl` didn't match the greps.

Revert "inline editing not working and other js packages issues"

This reverts commit c68b3313741a367e2510ea6be54895405e4438ca.

Merge pull request #16763 from eileenmcnaughton/mem_dash

dev/user-interface#14 Fix regression whereby links from membership dashboard don't work for export

Merge pull request #16775 from demeritcowboy/fin-fatals

dev/core#1645 - (Test for) Fatal error when assigning account to financial type

Merge pull request #16776 from eileenmcnaughton/fform

dev/core#1645 fix  regression  by removing form inheritance

Merge pull request #16779 from demeritcowboy/inline-edit

dev/core#1651 and dev/core#1637 - Inline editing not working on many admin screens and other js packages issues

inline editing not working and other js packages issues

dev/core#1645 fix  regression  by removing form inheritence

The Assign  Account form is failing to load because it inherits indirectly from CRM_Admin_Form which
now has a different visibility on the _id property.

I  took a look and there really is no reason for this complex  inheritence - this is a standalone form
and the setDefaults of  the parent seems of no use, let alone the parent's parent.

Assign, edit & browse seem to still work fine

fatal error when assigning account to financial type

Merge pull request #16766 from seamuslee001/5_23_2_release_notes

release-notes/5.23.2.md

release-notes/5.23.2.md

Merge pull request #16761 from eileenmcnaughton/joomla

dev/financial#120 - Fix CiviCRM base url on Joomla frontend

dev/user-interface#14 Fix regression whereby links from membership dashboard don't work for export

Note it  also applies to membership_status_id but the lack of a uniquename makes the fix trickier  so I'm reluctant to target the
rc

Alternate Joomla! fix - move to CMS override

Fix fatal error on loading extension page when an extension has been deleted

Since we added the concept of 'hidden' tags we are loading them in a way where the exceptions are not caught. This means
that the whole page cannot load - which is needed to disable the missing extension

Merge pull request #16750 from eileenmcnaughton/sgroups

Fix smart group custom field  check to cope  with api error

Fix smart group custom field  check to cope  with api error

As we have added new fields to the saved_search table this will lead to a fatal if it runs before
the database update. This catches that error and handles it

Merge pull request #16748 from seamuslee001/5_23_1_release_notes

5 23 1 release notes

Update 5.23.1.md

Add release-notes/5.23.1.md

Merge pull request #16743 from mlutfy/dev547c

dev/core#547 Fix Event financial_type_id getOptions

Merge pull request #16735 from totten/5.24-paths

dev/core#1637 - Multiple fixes for Civi/Core/Paths.php

dev/core#547 Fix Event financial_type_id getOptions

E2E_Extern_CliRunnerTest - Update to match change in `./`

Per 16735, the interpretation of `getPath('[foo]/.`)` changed
slightly - from:

* 5.22: Inconsistent/undefined tail end (may or may not have trailing `/`)
* 5.23.0: Defined to always end with `/`
* #16735: Defined to never end with `/`

CRM_Core_I18n - Fix usage of `getPath('[foo]/.')`

The interpretation of `/.` is evolving per #16735:

* When this code was first written, it was unspecified/variable whether the value `[foo]/.` would end in `/`
* During most of the testing of 5.23.beta1, this was defined to always return `/`
* During a regression fix in 5.23.1, we're flipping it back the other way so that `[foo]/.` never ends in `/`.

dev/core#1637 - Multiple fixes for Civi/Core/Paths.php

For a full write-up, see PR

dev/core#1637 - PathsTest - Redefine "[foo]/", "[foo]/0", "[foo]/."

The rationale will be discussed more via PR description.

(NFC) PathsTest - Make it easier to identify/debug test cases

When browsing the list of outputs from this test class, each of the test
cases was identified by its numerical position in the list of `$exs`.  This
makes it hard to keep track of the failures.

1. Add a symbolic name to each case (that's easier to search on)
2. Add more verbose output for failed assertions

(NFC) dev/core#1637 - Add E2E test for generation of Civi-WP backend URLs without trailing /

Revert "Revert "Make $civicrm_paths less sensitive to trailing slashes. Add tests.""

This reverts commit cbcbfd69d34c9895342e3d813a42f97d93dbb76d.

Merge pull request #16720 from agh1/5.24.0-release-notes

5.24.0 release notes: initial run

Merge pull request #16721 from seamuslee001/524_1637

dev/core#1637 Revert "Make $civicrm_paths less sensitive to trailing slashes. Add t…

Revert "Make $civicrm_paths less sensitive to trailing slashes. Add tests."

This is currently causing breakage on wordpress sites where clean urls are not enabled.

Compare the 2 urls below - the top one has an extra (breaking) slash added by this PR.

I propose a quick revert  & patch release followed by 'the right' fix at a slower pace
/wp-admin/admin.php/?page=CiviCRM&q=civicrm%2Fupgrade%2Fqueue%2Fajax%2FrunNext
/wp-admin/admin.php?page=CiviCRM&q=civicrm%2Fupgrade%2Fqueue%2Fajax%2FrunNext

This reverts commit 232fdd3dfac4ea09749d7f178818139514e48e38.

5.24.0 release notes: added boilerplate

5.24.0 release notes: raw from script

Merge pull request #16707 from demeritcowboy/smartgroup-warning

dev/core#1636 - In system status check avoid E_NOTICEs for smart groups that don't have form_values[0]

skip smart groups that don't have a form_values[0]

[REF] Remove  variable from preboot locations to fix compataiblity with backdrop

Set version to 5.24.beta1

Merge pull request #16677 from eileenmcnaughton/mem

[REF] Change function signature to support moving this off the form layer

Merge pull request #16666 from colemanw/smarter

APIv4-based smart groups

Merge pull request #16649 from alifrumin/copyState3

dev/core#1605 State/province not copied on shared address