Merge pull request #21419 from civicrm/5.42

Merge 5.42 to master

Merge pull request #21411 from colemanw/fixSearchKitAugmentSelectClause

SearchKit - Fix aggregated joins

Merge pull request #21059 from eileenmcnaughton/contribuion_mode

dev/core#2748 Remove unused token assigns

Merge pull request #21412 from eileenmcnaughton/protected

dev/core#2823 update function visibility to protected

Merge pull request #21174 from mattwire/unsubscribemessaging

Mailing Unsubscribe Form: Show if email is already unsubscribed

dev/core#2748 Remove unused token assigns

dev/core#2823 update function visibility to protected

This makes some internal functions 'protected'. I did a universer search for them.

Making them protected means that when I look to clean them up it is
clear that we only need to worry about how the class
interacts with them

Merge pull request #21410 from demeritcowboy/smarty-individual

Smarty warning about missing contact subtype on New Individual

Merge pull request #21409 from demeritcowboy/double-root

Remove duplicate global declaration in civicrm.settings.php template

Merge pull request #21405 from colemanw/tableStyle

SearchKit & Afform - Use Bootstrap table styles on admin screens

SearchKit - Exclude links from aggregated joins

subtype might legitimately be empty

remove duplicate declaration

SearchKit - Partial backport of 4afe3e

Merge pull request #21406 from demeritcowboy/comma

[search kit] Semicolon vs comma

comma

Merge pull request #21404 from colemanw/fixSearchDeleteConfirm

Fixes dev/core#2826 SearchKit - Fix delete search confirm dialog

Afform - Use bootstrap table classes on admin table

SearchKit - Use bootstrap table classes on admin screens

SearchKit - Fix delete search confirm dialog

Fixes dev/core#2826

Merge pull request #21397 from colemanw/tableStyles

SearchKit - Support bootstrap styles in search display tables

Merge pull request #21381 from eileenmcnaughton/ent

dev/core#2817 Block submission of pdf with text including token format that is ambiguous with the processor

Merge pull request #21394 from colemanw/debounceGetResults

SearchKit - Prevent race conditions in search display loading

Merge pull request #21388 from colemanw/searchKitFilter

SearchKit - Filter search listing by creator

Block submission with token format that is ambiguous with the processor

Merge pull request #21398 from demeritcowboy/basic-email-test

[NFC] Put back email test without tokens and enhance a little

add test without tokens

SearchKit - Support bootstrap styles in search display tables

Merge pull request #21396 from seamuslee001/fix_upgrade

Fix Upgrade step to ensure all fields are converted correctly as well

Merge pull request #21395 from eileenmcnaughton/mgd

dev/core#2823 Make protected functions non-static

Merge pull request #20995 from ixiam/dev-import-phone-extension

Import csv-Fix not importing extension in phones

Fix Upgrade step to ensure all fields are converted correctly as well

dev/core#2823 Make protected functions non-static

It's really hard to see why this class uses a mix of static & non-static functions
for internal (protected) functions. I suspect *history*. This makes
them all non-static

SearchKit - Filter search listing by author, adding support for OR in filters

SearchKit - Prevent race conditions in search display loading

- Increases debounce timeout from 100 to 800 ms
- Internally tracks the requests to ensure that later requests always take priority

Merge pull request #21186 from demeritcowboy/multiint

dev/core#2772 - Don't crash for custom fields of type int that are multi-select

Merge pull request #20822 from seamuslee001/use_product_api_form_hook

[REF] Update Product Create to use hooks and also switch the manage p…

Indicate if email is already unsubscribed.

Merge pull request #21389 from seamuslee001/relationship_cache_table_fix

[REF] Add in upgrade step to align the relationship cache table colla…

Merge pull request #21380 from eileenmcnaughton/case_opts

dev/core#2817 towards deprecating legacy `replaceCaseTokens`

Merge pull request #21386 from seamuslee001/test_sendemail

[NFC] Extend send email test to cover for contact tokens being replaced

Merge pull request #21390 from seamuslee001/function_type_hints_upgrade

[NFC] Add in type hints to template upgrade functions

[NFC] Add in type hints to template upgrade functions

[REF] Add in upgrade step to align the relationship cache table collation and charset with the other tables

Merge pull request #21382 from mattwire/collate

Don't specify character set for civicrm_relationship_cache table

Merge pull request #21385 from eileenmcnaughton/email_fix

dev/core#2814 Fix activity:sendEmail follow up

[NFC] Extend send email test to cover for contact tokens being replaced

[REF] Update Product Create to use hooks and also switch the manage product/premium page to use APIv4 Product Entity

Update to use suggestion from Coleman

Set Product permissions to be the same as contribution entity

Merge pull request #21354 from andyburnsco/patch-1

Change Do Not SMS privacy icon

Merge pull request #21379 from eileenmcnaughton/tok_mem

dev/core#2814 Fix membership pdf to use renderTemplate

Merge pull request #21288 from greenpeace-cee/add-regexp-ops

dev/core#2793 - Add REGEXP/NOT REGEXP SQL operators

dev/core#2814 Fix activity:sendEmail follow up

Merge pull request #21350 from mattwire/optoutverifyemail

Remove requirement to enter email address on Opt Out

Merge pull request #21175 from mattwire/unsubscribeverifyemail

Remove requirement to enter email address on unsubscribe

Remove requirement to verify email on opt out

Remove requirement to enter email address to unsubscribe

dev/core#2793 - Add REGEXP/NOT REGEXP SQL operators in API4

This adds the REGEXP and NOT REGEXP operators to API4 and SearchKit.

Don't specify character set for civicrm_relationship_cache table

Merge pull request #21370 from eileenmcnaughton/fp

dev/core#2715 Move 2 more functions to financial processor class

dev/core#2817 towards deprecating legacy

This adds support for the syntax

{case.status_id:label} which what we agreed as a preferred syntax
to disambiguate the demands for labels vs ids vs machine names in
various implementations.

The new (preferred) label is advertised - but the old
one still works

See https://lab.civicrm.org/dev/core/-/issues/2817 for next steps

Merge pull request #21199 from colemanw/fkDeleteBetter

[REF] Cleanup BAO::del() functions with unnecessary FK checks (dev/core#2757)

Merge pull request #21377 from eileenmcnaughton/act_send

dev/core#2814 Fix activity:sendSMS to use renderTemplate

Merge pull request #21378 from eileenmcnaughton/act_test

dev/core#2814 Fix test to use renderTemplate

Merge pull request #21376 from colemanw/searchTags

SearchKit - enable tags for Saved Searches

dev/core#2814 Fix test to use renderTemplate

dev/core#2814 Fix membership pdf to use renderTemplate

Merge pull request #21357 from eileenmcnaughton/recur_from

[REF] Extract code to get the from address for a recurring contribution.

Merge pull request #21366 from eileenmcnaughton/filename

[REF] dev/core#2790 Move pdf getFileName functionality to the trait

dev/core#2814 Fix activity:sendSMS to use renderTemplate

Merge pull request #21365 from eileenmcnaughton/act_send

dev/core#2814 Fix activity:sendEmail to use renderTemplate

SearchKit - Enable tagging saved searches

SearchKit - Show shorter date in listing and fix functions in tokens

Merge pull request #21367 from eileenmcnaughton/export

dev/core#2814 migrate export processor to use MessageRender

Merge pull request #21364 from eileenmcnaughton/prof_edit

dev/core#2814 Fix profile edit to use messagetemplate:render

Merge pull request #21335 from eileenmcnaughton/pdft

[REF] dev/core#2790 dev/core#2814 Start migration to MessageTemplate::render

Merge pull request #21373 from eileenmcnaughton/depp

Fix test to test trait not deprecated function

Merge pull request #21375 from mattwire/settitlelegacycustomsearch

Update use of CRM_Utils_System::setTitle() for legacycustomsearches

Merge pull request #21368 from mattwire/settitle

Switch to CRM_Core_Form::setTitle() instead of CRM_Utils_System::setTitle() part 4

Switch to CRM_Core_Form::setTitle() instead of CRM_Utils_System::setTitle() part 4

Update use of CRM_Utils_System::setTitle() for legacycustomsearches

Merge pull request #21372 from eileenmcnaughton/ddep

Remove deprecated input variable

dev/core#2715 Move 2 more functions to financial processor class

Note that we have a huge amount of test cover of these - the main risk of breakage
is missing a 'self' in the calling class - but that should cause a hard fail.

These are functions we have always felt safe changing without regards to
extension usage as they are deep within the financials and
we have been really clear that the only way to interact is to use the
api functions

Fix test to test trait not deprecated function

Merge pull request #21371 from eileenmcnaughton/depre

Remove unused private function

dev/core#2814 Fix activity:sendEmail to use renderTemplate

Note that this does create a situation where more queries could occur but
1) this is only called in core from the email task - which is limited to 50 contacts so it
is low-volume
2) this is really the start of a cleanup - there are other places where
queries can be removed when we look at the total flow but I feel we need to get
some simplification happening first & hence have picked on this focus
as the first step (ie removing the calls to replaceContactTokens)
3) this seems to be called in extensions to some extent - and it should still work
- there might be more queries but I think the 'support contract' for calling an
unsupported function does not include it working in ways not required by
core code

Remove deprecated input variable

Remove unused function

Merge pull request #21157 from mlutfy/fixMonthnames

dev/translation#71 getFullMonthNames: do not rely on the OS for translation

Merge pull request #21369 from demeritcowboy/case-token-take-2

[NFC/Unit test] - Fix secondary issue with case token consistency test

Merge pull request #21301 from greenpeace-cee/add-where-functions

Add SqlFunction support in addWhere

dev/translation#71 getFullMonthNames: do not rely on the operating system locale for translation

fix timing issue

Add SqlFunction support in addWhere

This adds an optional $isExpression parameter in addWhere that
allows use of SqlFunctions in WHERE expressions:

Contact::get(FALSE)
  ->addWhere('last_name', '=', $last_name)
  ->addWhere('LOWER(first_name)', '=', "BINARY('ALICE')", TRUE)
  ->execute()->indexBy('id');

This also adds a few tests to the existing expression support for
ON and HAVING clauses as well as a new BINARY function.

Merge pull request #21363 from colemanw/searchDownloadTest

SearchKit - Add 'array' option to download API and add test

dev/core#2814 migrate export processor to use MessageRender

Note that test cover is in
I used  to step through it
as that specifically covers this change

Merge pull request #20985 from eileenmcnaughton/fprocessor

dev/core#2715 [REF] Move another 2 functions to the financial processor class

[REF] dev/core#2790 Move getFileName functionality to the trait

This moves the recently added functionality to standardise the file name to PDFTrait

For code not using the trait (naughty extensions that are using core code in unsupported ways)
the functionality will be the same as prior versions.

(note extensions should just copy & paste the code they want from core into their extensions
rather than call core functions - it's not 'DRY' if it's not supported).

dev/core#2814 Fix profile edit to use messagetemplate:render

If the api were merged I would have used that - but this adds the test & when can test converting
to the api when it is merged. It gets the hard lifting of this conversion out of the way

Merge pull request #21361 from eileenmcnaughton/deprecated_gone

Remove deprecated function

SearchKit - Add 'array' option to download API and add test