Merge pull request #17092 from civicrm/5.25

5.25

Merge pull request #17090 from colemanw/ssCleanup

[REF] SavedSearch - additional cleanup & bugfixes

Merge pull request #17081 from eileenmcnaughton/session

Fix unsubscribe regression

Merge pull request #17088 from eileenmcnaughton/ids2

[NFC] Remove all the places where tests unnecessarily pass  to Membership::create

Merge pull request #17073 from eileenmcnaughton/msg_template

Add MessageTemplate api to v4

Merge pull request #17074 from joshgowans/patch-4

Archive text

SavedSearch - additional cleanup & bugfixes

Merge pull request #17062 from colemanw/apiExpPerf

[REF] APIv4 Explorer - improve performance

Correct spelling

Correct spelling of work 'recognition'.

Merge pull request #17003 from colemanw/smartererGroups

Allow other base tables for api4-based smart groups

Allow other base tables for api4-based smart groups

[NFC] Remove all the places where tests unnecessarily pass  to Membership::create

The param is deprecated - no reasonn to pass in the tests

Merge pull request #17083 from seamuslee001/master

5.25

Merge 5.25

Fix issue with form values not being available onn submit

Possible fix for https://civicrm.stackexchange.com/questions/35323/missing-parameters-error-in-unsubscribe-confirmation

The theory is that not having committed the transaction is causing the session not to be saved

Set version to 5.25.beta2

release-notes - Small copy edits

Add in release notes for 5.24.3

Update composer.lock (`composer update --lock`)

[MOSS] CIV-01-001 - Display sensible error if someone tries to use "qunit" when it's missing

[MOSS] CIV-01-001 - Remove more unnecessary files from google-code-prettifier

[MOSS] CIV-01-001 Remove Qunit and google-code-prettifier demo html file

Include the job name and job details on the popup notice and also on the form asking if your sure about executing it

Allow disabled jobs to be executed and fix copy

security/core#10 Ensure there is CSRF Protection when running Scheduled Jobs from the Admin scheduled jobs UI

Remove code handling for profile search listing

Also escape when value starts with a [ and validate the negative operation as well

[MOSS] CIV-01-020 Validate value in the query building logic for privacy flag fields

[MOSS] CIV-01-014 Validate status_id and campaign_type_id for camapginSummary function and the source_record_id and activity_type_id for Activity delete function

security/core#40 Purify activity details when viewing case activities and case reports

security/core#60 - Fix PHP Object Injection via Phar Deserialization

This mitigates Phar deserialization vulnerabilities by registering an
alternative Phar stream wrapper that filters out insecure Phar files.

PHP makes it possible to trigger Object Injection vulnerabilities by using
a side-effect of the phar:// stream wrapper that unserializes Phar
metadata. To mitigate this vulnerability, projects such as TYPO3 and Drupal
have implemented an alternative Phar stream wrapper that disallows
inclusion of phar files based on certain parameters. This change implements
a similar approach for Civi in environments where the vulnerability isn't
mitigated by the CMS.

Fixes security/core#60

CIV-01-021 - Improve entity name sanitization

Before
------

* There exist two functions which purport to take an API entity name and sanitize it,
  producing a canonical API entity name. (`\Civi\API\Request::normalizeEntityName`
  and `_civicrm_api_get_camel_name`)
* The two functions are identical for typical inputs. Both call `convertStringToCamel()`.
* The difference relates to unusual/unspecified input characters like `/` or `.` or `+`.
   * `_civicrm_api_get_camel_name()` allows/returns unusual characters.
   * `normalizeEntityName()` filters them out via `\CRM_Utils_String::munge()`

After
-----

* `_civicrm_api_get_camel_name()` just calls `normalizeEntityName()`
* A unit-test provides some comparison/contrast between the old+new behaviors.

Comments
--------

I came into this because CIV-01-021 pointed out that `_civicrm_api_get_camel_name()` had
insufficient sanitization of wonky inputs and could potentially lead to unexpected file-reads.

You can potentially address those wonky inputs by filtering them out or by throwing an exception.
I initially started doing an exception... but it turned out that `normalizeEntityName()` was already
filtering out and didn't really need a change. Also, regardless of the policy, the functions should be
brought into alignment.

Anyway, it seemed like this was the simpler change - it keeps `normalizeEntityName()` working exactly
as before, and only changes `_civicrm_api_get_camel_name()` to match.

security/core#73 - Fix Contact.getquick API key exposure

This fixes an issue where API keys can be exposed via the field_name
parameter of the Contact.getquick API. Since there is no valid use-case
for requesting API keys via getquick, the fix simply triggers an API
error if the API key is requested.

Merge pull request #17066 from mattwire/fixselectedchild

Fix 'selectedChild' parameter for pages with tabs

Merge pull request #17055 from mattwire/customgroupfield_id

Add ID to custom group/field admin forms

Merge pull request #17076 from agh1/cancelnotban

Export: use X icon `fa-times` for closing things

Merge pull request #16756 from eileenmcnaughton/memtest

[NFC] Improve cleanup on membershipStatus to cope with undeleted memberships

Use apiv4 on save

Merge pull request #17077 from eileenmcnaughton/dedup

Follow up fix on change to merge sqls

[REF] MessageTemplate form code level improvements

I'm looking to cleanup this form to use the apiv4 (I'd rather got the extra step & switch it to an afform but
that seems like too big a leap).

This switches the loading to use apiv4. Note that
1) I decided that it doesn't make sense to setCheckPermissions = FALSE - I think the form should not
be availble to non-permissioned users (& perhaps a hook might like to play a role here).

2) I removed the inheritence from the parent  which seemed to do 3 things
 - added admin.css - none of the classes seemed to apply
 - added iconpicker - didn't seem to apply
 - loaded the defaults - which this change does on the form more succinctly

Add MsgTemplate api to v4

Follow up fix on change to merge sqls

This turns out to have been a missing piece from
https://github.com/civicrm/civicrm-core/pull/17060 as revealed from
https://github.com/civicrm/civicrm-core/pull/17072

Export: use X icon `fa-times` for closing things

See https://docs.civicrm.org/dev/en/latest/framework/ui/#icon-meaning-and-consistency

Merge pull request #16998 from lcdservices/dev-core-1693

dev/core#1693 inline text title override

Archive text

Update intro text to archive contrib.txt in favor of recognizing contributors via the release notest.

Merge pull request #17070 from eileenmcnaughton/msg_template

[NFC] Remove a handful of legacy svn notations

Merge pull request #17060 from eileenmcnaughton/dupefix

Dupe improve custom data handling

[NFC] Remove a handful of legacy svn notations

Dupe improve custom data handling

The  current  custom data handling code does the  following

1) For normal single rows it first inserts a row. This has the impact of rendering the
update that follows meaningless (this was an intentional change). It then deletes the row.
Hence the upshot is simply that it deletes the row. A separate process transfers the custom
data for the row. In other words we are engaging in 3 queries with a fairly high chance of
causing deadlocks in order to just delete the row.

2) For single rows where the entity reference refers to the merged contact the row is
updated to refer to the merged contact (without the insert this works) and a further unnecessary delete follows

3) For custom groups supporting multiple rows the rows are updated to have the new entity id. An unnecessary delete follows.

This change only affects the first of these. I would like to, in a future PR, change UPDATE IGNORE to just UPDATE &
remove the unnecessary delete - with more testing.

Note that this does include a slight change of behaviour. Currently if ANY fields in a custom group
are transferred from one contact to another during merge the row is deleted (with all the custom fields in it).
However, if no fields in a set are deleted then the row is not deleted.

This felt like it was a bit short on consistency. If has a potential advantage from a DB size point of view (any
deleting is better than none) but it also increases the number of locking queries in a process that is fairly
prone to cause DB locks. Based on these considerations I didn't think it worth re-adding code complexity to
retain inconsistent deletion.

A note on tests - I pre-added a bunch of tests into _api3_ContactTest to cover the 3 scenarios above.

Merge pull request #17063 from colemanw/api4limit

APIv4 - Fix setting offset with no limit

APIv4 Explorer - performance boost with less intensive loops

APIv4 Explorer - performance boost with fewer watch expressions

Fix 'selectedChild' parameter for pages with tabs

APIv4 Explorer - performance boost with one-time-binding expressions

APIv4 - Fix setting offset with no limit

The API treats 0 as "no limit" but mysql does not.
This allows setting an offset with no limit but applying the maximum possible row count, as mysql does not allow LIMIT NULL.
See https://stackoverflow.com/questions/255517/mysql-offset-infinite-rows

Merge pull request #17057 from eileenmcnaughton/email3

[REF] move all functions associated with  the submit function onto the Trait

[REF] move all functions associated with  the submit function onto the Trait

Merge pull request #17058 from eileenmcnaughton/mem

[NFC] Code cleanup around comments, strict comparison, formatting

Merge pull request #17050 from colemanw/one-time-binding

Improve AngularJS performance with one-time binding for static strings

[NFC] Code cleanup around comments, strict comparison, formatting

Improve AngularJS performance with one-time binding for static strings

Use one-time binding for all static strings being passed through ts().
This prevents unnecessary $watch expressions, making the digest loop faster.
See https://docs.angularjs.org/guide/expression#one-time-binding

Merge pull request #17052 from eileenmcnaughton/email5

Duplicate EmailCommon::buildQuickForm onto the trait

Add ID to custom group/field admin forms

Merge pull request #17053 from eileenmcnaughton/ipn

Make transaction param optional in completeOrder

Make transaction param optional in completeOrder

In all the places I checked passing in this param achieved nothing. Let's start by making it optional

Merge pull request #17037 from eileenmcnaughton/dupe

[Test] Extend custom field test trait & some related tests

Merge pull request #16957 from pradpnayak/importMappings

fixed mapping when using custom field for contact sub type

[Test] Extend custom field test trait & some related tests

Duplicate EmailCommon::buildQuickForm onto the trait

I have duplicated this code rather than moving it in case any non-core code calls it. We can remove in a bit

Merge pull request #17049 from eileenmcnaughton/phone_array

[NFC] Fix use of pattern-hated-by-Coleman

Merge pull request #17044 from yashodha/error

add filter for receipt date in contribution reports

[NFC] Fix use of pattern-hated-by-Coleman

Since I tried to use this as an example of a 'tidy' hook call I'd better fix it

Merge pull request #17048 from totten/master-upgr-nl-be

dev/translation#4 - Refine upgrade steps for modifying nl_NL

Merge pull request #16772 from eileenmcnaughton/mem_tax

Fix bug where tax_amount is miscalculated on membership renewals

Merge pull request #17047 from colemanw/api4exp

dev/report#31 - Api4 Explorer: Support SQL functions and HAVING clause

Update 5.24.2.md

Fix version number in title.

Merge pull request #17043 from davejenx/patch-1

Update 5.24.2.md - Fix version number in title.

Merge pull request #17046 from MegaphoneJon/fix-ftaclcheck

core#1700 - Fix Financial ACL Report check

dev/translation#4 - Refine upgrade steps for modifying nl_NL

1. This adds a filter on `option_group_id` so that we don't modify unrelated OGs/OVs
2. Use simpler SQL semantics per https://docs.civicrm.org/dev/en/latest/framework/upgrade/#tips-prefer-simple-sql-semantics-over-apibaodao

CRM_Util_SQL - Add `interpolate()` helper

The `interpolate()` function is already available as the heart of
`CRM_Util_SQL_Insert` and `CRM_Utils_SQL_Select`, etc.  This just makes it
easier to use for random SQL statements that don't have a full OOP model.

Merge pull request #17027 from demeritcowboy/nl-be-upgrade

dev/translation#4 - Upgrade script for nl_BE

Merge pull request #17011 from colemanw/noCount

Simplify groupContactCache - remove redundant query

Merge pull request #16987 from mattwire/casemissingtranslation

Add missing translations to case activity revisions

Merge pull request #17024 from jitendrapurohit/core-1696

dev/core#1696 - Update attachment message on mailing form.

APIv4 Explorer: support HAVING

Merge pull request #17025 from civicrm/1697-set-is_deceased-to-not-null-in-schema-and-upgrade-script

set is_deceased to not null in schema and upgrade script dev/core#1697

APIv4 Explorer - Support SQL functions

Adding "track by" to the loops is necessary so they aren't re-drawn during typing (causing the input to lose focus on every keystroke)

core#1700 - Fix Financial ACL Report check

Add missing translations to case activity revisions

Merge pull request #17038 from totten/master-vermsg

Mitigate flaky test failure about "CRM_Utils_Check_Component_Env->checkVersion()"

APIv4 Explorer - Use standard widget for SELECT

APIv4 Explorer - Whitespace fix

APIv4 Explorer - Get list of SQL functions

APIv4 Explorer - Make WHERE clause code more generic, toward supporting HAVING

APIv4 Explorer - Improve display of limit & offset params

Merge pull request #16888 from mattwire/addvarsanyregion

Allow adding variables to CRM.vars in any region

dev/core#1697 set is_deceased to not null in schema and upgrade script

add filter and sorting for receipt date in contribution reports

dev/core#1696 - Update attachment message on mailing form.

Update 5.24.2.md

Fix version number in title.

Merge pull request #17042 from civicrm/5.25

5.25