Merge pull request #17113 from colemanw/restoreApiSql

Restore #16947 - APIv4 support for sql functions and grouping

Restore #16947 - APIv4 support for sql functions and grouping

Merge pull request #17111 from seamuslee001/master

5.25

Merge in 5.25

Merge pull request #17093 from eileenmcnaughton/cont

[NFC] Remove calculation of unused parameter

Merge pull request #17108 from colemanw/revertSqlFn

Revert #16947 from 5.25RC

Merge pull request #17069 from colemanw/removeUselessChecks

[REF] Remove duplicate checks for an array key existing

Revert "APIv4 - Add rudimentary support for groupBy"

This reverts commit fba513f62ec8815e08fa838e0d0501279bf34501.

Revert "Api4SelectQuery - add more metadata to apiFieldSpec"

This reverts commit 9b06167d3c8dc54bb51e22e3583b18799a46c930.

Revert "APIv4 - Add SQL expression handling and aggregate functions"

This reverts commit 3176b04cb62b0e8f94454e367736f50454f89de8.

Merge pull request #17080 from colemanw/importExtract

[REF] Import - extract duplicate code to function

Merge pull request #17101 from totten/master-gitlab-tpl

(NFC) Gitlab Template - Request more detail about upgrade problems

Merge pull request #17100 from artfulrobot/artfulrobot-lab-1917

Replace CaseType's own XML encoding function

dev-core/1719: replace xml encoding function in CaseType

Merge pull request #17098 from mattwire/removeunusedparameterjob

Remove unused parameter from function

Merge pull request #17051 from eileenmcnaughton/ex

Remove outputHeader as a param for writeCSVFile as it is always true

Merge pull request #17102 from mattwire/removevar

Remove var that is defined on parent

Remove var that is defined on parent

(NFC) Gitlab Template - Request more detail about upgrades

Merge pull request #17087 from eileenmcnaughton/ids

[REF] Stop passing ids to membership::create from createRelatedMemberships

Merge pull request #17086 from eileenmcnaughton/memview

Don't pass empty ids parameter, fix fatal

Remove unused parameter from function

Merge pull request #17089 from eileenmcnaughton/memdate

[REF] get rid of variable variable structure

Merge pull request #16714 from christianwach/lab-1638

Introduce "civi.dao.preUpdate" and "civi.dao.preInsert" events

Merge pull request #17095 from civicrm/5.25

5.25

Merge pull request #17097 from seamuslee001/5.25

Add release-notes/5.24.4.md

Add release-notes/5.24.4.md

Merge pull request #17085 from seamuslee001/typo3_drupal8

Generalise typo3/phar-stream-wrapper so CiviCRM can be installed on d…

[REF] get rid of variable variable structure

Readability improvement

[NFC] Remove calculation of unused parameter

Merge pull request #17092 from civicrm/5.25

5.25

Merge pull request #17090 from colemanw/ssCleanup

[REF] SavedSearch - additional cleanup & bugfixes

Merge pull request #17081 from eileenmcnaughton/session

Fix unsubscribe regression

Merge pull request #17088 from eileenmcnaughton/ids2

[NFC] Remove all the places where tests unnecessarily pass  to Membership::create

Merge pull request #17073 from eileenmcnaughton/msg_template

Add MessageTemplate api to v4

Merge pull request #17074 from joshgowans/patch-4

Archive text

SavedSearch - additional cleanup & bugfixes

Merge pull request #17062 from colemanw/apiExpPerf

[REF] APIv4 Explorer - improve performance

Correct spelling

Correct spelling of work 'recognition'.

Merge pull request #17003 from colemanw/smartererGroups

Allow other base tables for api4-based smart groups

Allow other base tables for api4-based smart groups

[NFC] Remove all the places where tests unnecessarily pass  to Membership::create

The param is deprecated - no reasonn to pass in the tests

Stop passing ids to membership::create from createRelatedMemberships

We are passing in an empty array. Per the code comments there was concern that the array might NOT be empty after calling
create & that needed to be checked out. However, I just went through it & concluded that values in the ids var would
only ever be set if ids['membership'] was passed in - so if it goes in empty it will come out empty

Don't pass empty ids paramter, fix fatal

Generalise typo3/phar-stream-wrapper so CiviCRM can be installed on drupal8

Merge pull request #17083 from seamuslee001/master

5.25

Merge 5.25

Fix issue with form values not being available onn submit

Possible fix for https://civicrm.stackexchange.com/questions/35323/missing-parameters-error-in-unsubscribe-confirmation

The theory is that not having committed the transaction is causing the session not to be saved

Set version to 5.25.beta2

release-notes - Small copy edits

Add in release notes for 5.24.3

Update composer.lock (`composer update --lock`)

[MOSS] CIV-01-001 - Display sensible error if someone tries to use "qunit" when it's missing

[MOSS] CIV-01-001 - Remove more unnecessary files from google-code-prettifier

[MOSS] CIV-01-001 Remove Qunit and google-code-prettifier demo html file

Include the job name and job details on the popup notice and also on the form asking if your sure about executing it

Allow disabled jobs to be executed and fix copy

security/core#10 Ensure there is CSRF Protection when running Scheduled Jobs from the Admin scheduled jobs UI

Remove code handling for profile search listing

Also escape when value starts with a [ and validate the negative operation as well

[MOSS] CIV-01-020 Validate value in the query building logic for privacy flag fields

[MOSS] CIV-01-014 Validate status_id and campaign_type_id for camapginSummary function and the source_record_id and activity_type_id for Activity delete function

security/core#40 Purify activity details when viewing case activities and case reports

security/core#60 - Fix PHP Object Injection via Phar Deserialization

This mitigates Phar deserialization vulnerabilities by registering an
alternative Phar stream wrapper that filters out insecure Phar files.

PHP makes it possible to trigger Object Injection vulnerabilities by using
a side-effect of the phar:// stream wrapper that unserializes Phar
metadata. To mitigate this vulnerability, projects such as TYPO3 and Drupal
have implemented an alternative Phar stream wrapper that disallows
inclusion of phar files based on certain parameters. This change implements
a similar approach for Civi in environments where the vulnerability isn't
mitigated by the CMS.

Fixes security/core#60

CIV-01-021 - Improve entity name sanitization

Before
------

* There exist two functions which purport to take an API entity name and sanitize it,
  producing a canonical API entity name. (`\Civi\API\Request::normalizeEntityName`
  and `_civicrm_api_get_camel_name`)
* The two functions are identical for typical inputs. Both call `convertStringToCamel()`.
* The difference relates to unusual/unspecified input characters like `/` or `.` or `+`.
   * `_civicrm_api_get_camel_name()` allows/returns unusual characters.
   * `normalizeEntityName()` filters them out via `\CRM_Utils_String::munge()`

After
-----

* `_civicrm_api_get_camel_name()` just calls `normalizeEntityName()`
* A unit-test provides some comparison/contrast between the old+new behaviors.

Comments
--------

I came into this because CIV-01-021 pointed out that `_civicrm_api_get_camel_name()` had
insufficient sanitization of wonky inputs and could potentially lead to unexpected file-reads.

You can potentially address those wonky inputs by filtering them out or by throwing an exception.
I initially started doing an exception... but it turned out that `normalizeEntityName()` was already
filtering out and didn't really need a change. Also, regardless of the policy, the functions should be
brought into alignment.

Anyway, it seemed like this was the simpler change - it keeps `normalizeEntityName()` working exactly
as before, and only changes `_civicrm_api_get_camel_name()` to match.

security/core#73 - Fix Contact.getquick API key exposure

This fixes an issue where API keys can be exposed via the field_name
parameter of the Contact.getquick API. Since there is no valid use-case
for requesting API keys via getquick, the fix simply triggers an API
error if the API key is requested.

Merge pull request #17066 from mattwire/fixselectedchild

Fix 'selectedChild' parameter for pages with tabs

Import - extract duplicate code to function

FIXME: Extracting this was a first step, but there's also still lots of inconsistency
and duplication with how the various import classes handle custom data.

Merge pull request #17055 from mattwire/customgroupfield_id

Add ID to custom group/field admin forms

Merge pull request #17076 from agh1/cancelnotban

Export: use X icon `fa-times` for closing things

Merge pull request #16756 from eileenmcnaughton/memtest

[NFC] Improve cleanup on membershipStatus to cope with undeleted memberships

Use apiv4 on save

Merge pull request #17077 from eileenmcnaughton/dedup

Follow up fix on change to merge sqls

[REF] MessageTemplate form code level improvements

I'm looking to cleanup this form to use the apiv4 (I'd rather got the extra step & switch it to an afform but
that seems like too big a leap).

This switches the loading to use apiv4. Note that
1) I decided that it doesn't make sense to setCheckPermissions = FALSE - I think the form should not
be availble to non-permissioned users (& perhaps a hook might like to play a role here).

2) I removed the inheritence from the parent  which seemed to do 3 things
 - added admin.css - none of the classes seemed to apply
 - added iconpicker - didn't seem to apply
 - loaded the defaults - which this change does on the form more succinctly

Add MsgTemplate api to v4

Follow up fix on change to merge sqls

This turns out to have been a missing piece from
https://github.com/civicrm/civicrm-core/pull/17060 as revealed from
https://github.com/civicrm/civicrm-core/pull/17072

Export: use X icon `fa-times` for closing things

See https://docs.civicrm.org/dev/en/latest/framework/ui/#icon-meaning-and-consistency

Merge pull request #16998 from lcdservices/dev-core-1693

dev/core#1693 inline text title override

Archive text

Update intro text to archive contrib.txt in favor of recognizing contributors via the release notest.

Merge pull request #17070 from eileenmcnaughton/msg_template

[NFC] Remove a handful of legacy svn notations

Merge pull request #17060 from eileenmcnaughton/dupefix

Dupe improve custom data handling

[NFC] Remove a handful of legacy svn notations

Dupe improve custom data handling

The  current  custom data handling code does the  following

1) For normal single rows it first inserts a row. This has the impact of rendering the
update that follows meaningless (this was an intentional change). It then deletes the row.
Hence the upshot is simply that it deletes the row. A separate process transfers the custom
data for the row. In other words we are engaging in 3 queries with a fairly high chance of
causing deadlocks in order to just delete the row.

2) For single rows where the entity reference refers to the merged contact the row is
updated to refer to the merged contact (without the insert this works) and a further unnecessary delete follows

3) For custom groups supporting multiple rows the rows are updated to have the new entity id. An unnecessary delete follows.

This change only affects the first of these. I would like to, in a future PR, change UPDATE IGNORE to just UPDATE &
remove the unnecessary delete - with more testing.

Note that this does include a slight change of behaviour. Currently if ANY fields in a custom group
are transferred from one contact to another during merge the row is deleted (with all the custom fields in it).
However, if no fields in a set are deleted then the row is not deleted.

This felt like it was a bit short on consistency. If has a potential advantage from a DB size point of view (any
deleting is better than none) but it also increases the number of locking queries in a process that is fairly
prone to cause DB locks. Based on these considerations I didn't think it worth re-adding code complexity to
retain inconsistent deletion.

A note on tests - I pre-added a bunch of tests into _api3_ContactTest to cover the 3 scenarios above.

[REF] Remove duplicate checks for an array key existing

Merge pull request #17063 from colemanw/api4limit

APIv4 - Fix setting offset with no limit

APIv4 Explorer - performance boost with less intensive loops

APIv4 Explorer - performance boost with fewer watch expressions

Fix 'selectedChild' parameter for pages with tabs

APIv4 Explorer - performance boost with one-time-binding expressions

APIv4 - Fix setting offset with no limit

The API treats 0 as "no limit" but mysql does not.
This allows setting an offset with no limit but applying the maximum possible row count, as mysql does not allow LIMIT NULL.
See https://stackoverflow.com/questions/255517/mysql-offset-infinite-rows

Merge pull request #17057 from eileenmcnaughton/email3

[REF] move all functions associated with  the submit function onto the Trait

[REF] move all functions associated with  the submit function onto the Trait

Merge pull request #17058 from eileenmcnaughton/mem

[NFC] Code cleanup around comments, strict comparison, formatting

Merge pull request #17050 from colemanw/one-time-binding

Improve AngularJS performance with one-time binding for static strings

[NFC] Code cleanup around comments, strict comparison, formatting

Improve AngularJS performance with one-time binding for static strings

Use one-time binding for all static strings being passed through ts().
This prevents unnecessary $watch expressions, making the digest loop faster.
See https://docs.angularjs.org/guide/expression#one-time-binding

Merge pull request #17052 from eileenmcnaughton/email5

Duplicate EmailCommon::buildQuickForm onto the trait

Add ID to custom group/field admin forms

Merge pull request #17053 from eileenmcnaughton/ipn

Make transaction param optional in completeOrder

Make transaction param optional in completeOrder

In all the places I checked passing in this param achieved nothing. Let's start by making it optional

Merge pull request #17037 from eileenmcnaughton/dupe

[Test] Extend custom field test trait & some related tests