Merge pull request #17139 from civicrm/5.25

5.25

Merge pull request #17134 from jitendrapurohit/core-1723-rc

dev/core#1723 - Adv Search - Reciprocal relationship search with custom fields leads to error

RC fix for #17132

unit test fix

Merge pull request #17133 from eileenmcnaughton/dep

(NFC) Comment clarification in test class

Merge pull request #17137 from seamuslee001/dev_core_1717

dev/core#1717 - Fix SMTP failure involving `disconnect()` method

dev/core#1717 Fix SMTP failure on fail to disconnect due to new wrapper smtp mailer

Add in wrapper around to check if we can call it

Merge pull request #17105 from colemanw/psr-4

dev/core#1684 - Use PSR-4 autoloader instead of PSR-0 for "Civi" namespace

Merge pull request #16716 from mattwire/cancelsubscriptionaddemail

Add contributor email address to cancelSubscription form so it is cle…

Merge pull request #17135 from demeritcowboy/leftover-description

dev/user-interface#19 - Remove leftover description text on contribution form mistakenly left in

leftover description text from net amount field removal years ago

Add contributor email address to cancelSubscription form so it is clear where it will be sent

Comment clarification in test class

I just updated the comments on this helper to clarify the limitations of the function & the
fact that it should not be our only way to test thousand separators.

I was noticing perfect was becoming the enemy of the good here. The function was marked as deprecated
because it doesn't cover all scenarios - but the upshot was that we stopped increasing out
thousand separator testing. In fact we need lots of form tests to do some testing of
the separators and a very small number to test more variants - this latter has been added
& the comments point to the need for more without going as far as deprecating

Merge pull request #17123 from civicrm/5.25

5.25

Merge pull request #17099 from lcdservices/dev-core-1718

dev/core#1718 membership batch entry join date fix

Merge pull request #17119 from agh1/5.25.0-releasenotes

5.25.0 release notes first run

Merge pull request #17064 from eileenmcnaughton/email3

Convert bcc field to use an entity reference.

Merge pull request #17121 from eileenmcnaughton/update

[REF] Minor var simplification

[REF] Minor var simplification

Merge pull request #17106 from pradpnayak/statepro1

Update Colmbra state/province to Coimbra

Merge pull request #17109 from colemanw/noAlias

APIv4 - Prevent field alias conflicts.

5.25.0 release notes: added boilerplate

5.25.0 release notes: raw from script

Merge pull request #17113 from colemanw/restoreApiSql

Restore #16947 - APIv4 support for sql functions and grouping

Restore #16947 - APIv4 support for sql functions and grouping

Merge pull request #17111 from seamuslee001/master

5.25

Merge in 5.25

Merge pull request #17093 from eileenmcnaughton/cont

[NFC] Remove calculation of unused parameter

Merge pull request #17108 from colemanw/revertSqlFn

Revert #16947 from 5.25RC

APIv4 - Prevent field alias conflicts.

Do not allow regular fields to be aliased - only expressions.
Prevent an alias from using the same name as an existing field.

Merge pull request #17069 from colemanw/removeUselessChecks

[REF] Remove duplicate checks for an array key existing

Revert "APIv4 - Add rudimentary support for groupBy"

This reverts commit fba513f62ec8815e08fa838e0d0501279bf34501.

Revert "Api4SelectQuery - add more metadata to apiFieldSpec"

This reverts commit 9b06167d3c8dc54bb51e22e3583b18799a46c930.

Revert "APIv4 - Add SQL expression handling and aggregate functions"

This reverts commit 3176b04cb62b0e8f94454e367736f50454f89de8.

updated civicrm_generated.mysql file

Update Colmbra state/province to Coimbra

dev/core#1684 Use psr-4 autoloader instead of psr-0 for Civi directory

This change is to allow underscores in class names, which were being misinterpreted as directory separators.

Merge pull request #17080 from colemanw/importExtract

[REF] Import - extract duplicate code to function

Merge pull request #17101 from totten/master-gitlab-tpl

(NFC) Gitlab Template - Request more detail about upgrade problems

Merge pull request #17100 from artfulrobot/artfulrobot-lab-1917

Replace CaseType's own XML encoding function

dev-core/1719: replace xml encoding function in CaseType

Merge pull request #17098 from mattwire/removeunusedparameterjob

Remove unused parameter from function

Merge pull request #17051 from eileenmcnaughton/ex

Remove outputHeader as a param for writeCSVFile as it is always true

Merge pull request #17102 from mattwire/removevar

Remove var that is defined on parent

Remove var that is defined on parent

(NFC) Gitlab Template - Request more detail about upgrades

dev/core#1718 membership batch entry join date fix

Merge pull request #17087 from eileenmcnaughton/ids

[REF] Stop passing ids to membership::create from createRelatedMemberships

Merge pull request #17086 from eileenmcnaughton/memview

Don't pass empty ids parameter, fix fatal

Remove unused parameter from function

Merge pull request #17089 from eileenmcnaughton/memdate

[REF] get rid of variable variable structure

Merge pull request #16714 from christianwach/lab-1638

Introduce "civi.dao.preUpdate" and "civi.dao.preInsert" events

Merge pull request #17095 from civicrm/5.25

5.25

Merge pull request #17097 from seamuslee001/5.25

Add release-notes/5.24.4.md

Add release-notes/5.24.4.md

Merge pull request #17085 from seamuslee001/typo3_drupal8

Generalise typo3/phar-stream-wrapper so CiviCRM can be installed on d…

[REF] get rid of variable variable structure

Readability improvement

[NFC] Remove calculation of unused parameter

Merge pull request #17092 from civicrm/5.25

5.25

Merge pull request #17090 from colemanw/ssCleanup

[REF] SavedSearch - additional cleanup & bugfixes

Merge pull request #17081 from eileenmcnaughton/session

Fix unsubscribe regression

Merge pull request #17088 from eileenmcnaughton/ids2

[NFC] Remove all the places where tests unnecessarily pass  to Membership::create

Merge pull request #17073 from eileenmcnaughton/msg_template

Add MessageTemplate api to v4

Merge pull request #17074 from joshgowans/patch-4

Archive text

SavedSearch - additional cleanup & bugfixes

Merge pull request #17062 from colemanw/apiExpPerf

[REF] APIv4 Explorer - improve performance

Correct spelling

Correct spelling of work 'recognition'.

Merge pull request #17003 from colemanw/smartererGroups

Allow other base tables for api4-based smart groups

Allow other base tables for api4-based smart groups

[NFC] Remove all the places where tests unnecessarily pass  to Membership::create

The param is deprecated - no reasonn to pass in the tests

Stop passing ids to membership::create from createRelatedMemberships

We are passing in an empty array. Per the code comments there was concern that the array might NOT be empty after calling
create & that needed to be checked out. However, I just went through it & concluded that values in the ids var would
only ever be set if ids['membership'] was passed in - so if it goes in empty it will come out empty

Don't pass empty ids paramter, fix fatal

Generalise typo3/phar-stream-wrapper so CiviCRM can be installed on drupal8

Merge pull request #17083 from seamuslee001/master

5.25

Merge 5.25

Fix issue with form values not being available onn submit

Possible fix for https://civicrm.stackexchange.com/questions/35323/missing-parameters-error-in-unsubscribe-confirmation

The theory is that not having committed the transaction is causing the session not to be saved

Set version to 5.25.beta2

release-notes - Small copy edits

Add in release notes for 5.24.3

Update composer.lock (`composer update --lock`)

[MOSS] CIV-01-001 - Display sensible error if someone tries to use "qunit" when it's missing

[MOSS] CIV-01-001 - Remove more unnecessary files from google-code-prettifier

[MOSS] CIV-01-001 Remove Qunit and google-code-prettifier demo html file

Include the job name and job details on the popup notice and also on the form asking if your sure about executing it

Allow disabled jobs to be executed and fix copy

security/core#10 Ensure there is CSRF Protection when running Scheduled Jobs from the Admin scheduled jobs UI

Remove code handling for profile search listing

Also escape when value starts with a [ and validate the negative operation as well

[MOSS] CIV-01-020 Validate value in the query building logic for privacy flag fields

[MOSS] CIV-01-014 Validate status_id and campaign_type_id for camapginSummary function and the source_record_id and activity_type_id for Activity delete function

security/core#40 Purify activity details when viewing case activities and case reports

security/core#60 - Fix PHP Object Injection via Phar Deserialization

This mitigates Phar deserialization vulnerabilities by registering an
alternative Phar stream wrapper that filters out insecure Phar files.

PHP makes it possible to trigger Object Injection vulnerabilities by using
a side-effect of the phar:// stream wrapper that unserializes Phar
metadata. To mitigate this vulnerability, projects such as TYPO3 and Drupal
have implemented an alternative Phar stream wrapper that disallows
inclusion of phar files based on certain parameters. This change implements
a similar approach for Civi in environments where the vulnerability isn't
mitigated by the CMS.

Fixes security/core#60

CIV-01-021 - Improve entity name sanitization

Before
------

* There exist two functions which purport to take an API entity name and sanitize it,
  producing a canonical API entity name. (`\Civi\API\Request::normalizeEntityName`
  and `_civicrm_api_get_camel_name`)
* The two functions are identical for typical inputs. Both call `convertStringToCamel()`.
* The difference relates to unusual/unspecified input characters like `/` or `.` or `+`.
   * `_civicrm_api_get_camel_name()` allows/returns unusual characters.
   * `normalizeEntityName()` filters them out via `\CRM_Utils_String::munge()`

After
-----

* `_civicrm_api_get_camel_name()` just calls `normalizeEntityName()`
* A unit-test provides some comparison/contrast between the old+new behaviors.

Comments
--------

I came into this because CIV-01-021 pointed out that `_civicrm_api_get_camel_name()` had
insufficient sanitization of wonky inputs and could potentially lead to unexpected file-reads.

You can potentially address those wonky inputs by filtering them out or by throwing an exception.
I initially started doing an exception... but it turned out that `normalizeEntityName()` was already
filtering out and didn't really need a change. Also, regardless of the policy, the functions should be
brought into alignment.

Anyway, it seemed like this was the simpler change - it keeps `normalizeEntityName()` working exactly
as before, and only changes `_civicrm_api_get_camel_name()` to match.

security/core#73 - Fix Contact.getquick API key exposure

This fixes an issue where API keys can be exposed via the field_name
parameter of the Contact.getquick API. Since there is no valid use-case
for requesting API keys via getquick, the fix simply triggers an API
error if the API key is requested.

Merge pull request #17066 from mattwire/fixselectedchild

Fix 'selectedChild' parameter for pages with tabs

Import - extract duplicate code to function

FIXME: Extracting this was a first step, but there's also still lots of inconsistency
and duplication with how the various import classes handle custom data.

Merge pull request #17055 from mattwire/customgroupfield_id

Add ID to custom group/field admin forms

Merge pull request #17076 from agh1/cancelnotban

Export: use X icon `fa-times` for closing things

Merge pull request #16756 from eileenmcnaughton/memtest

[NFC] Improve cleanup on membershipStatus to cope with undeleted memberships

Use apiv4 on save

Merge pull request #17077 from eileenmcnaughton/dedup

Follow up fix on change to merge sqls

[REF] MessageTemplate form code level improvements

I'm looking to cleanup this form to use the apiv4 (I'd rather got the extra step & switch it to an afform but
that seems like too big a leap).

This switches the loading to use apiv4. Note that
1) I decided that it doesn't make sense to setCheckPermissions = FALSE - I think the form should not
be availble to non-permissioned users (& perhaps a hook might like to play a role here).

2) I removed the inheritence from the parent  which seemed to do 3 things
 - added admin.css - none of the classes seemed to apply
 - added iconpicker - didn't seem to apply
 - loaded the defaults - which this change does on the form more succinctly