dev/core#334 Use the current in use collation and character sets when creating new custom value tables

Merge pull request #18599 from seamuslee001/frontend_group_fields

[REF] Add in frontend fields for title and description of group Schem…

[REF] Add in frontend fields for title and description of group Schema only change

Add in upgrade step to expand title column to be 255 as well

Update langauge as per Artfulrobot and require group title field

Merge pull request #18641 from eileenmcnaughton/will-the-real-slim-leaky-please-stand-up

dev/core#2073 Fix a real live leak

dev/core#2073 Fix a real live leak

I used the same methods I had been playing with on the test class on a contribution
import script and found that the object that was increasing in memory in tandem with
me increasing iterations was an instance of DB_result

I tracked it down to here. In essence our main DAO functions clean up after themselves - e.g
when the DAO is destructed it cleans up the globals it has created.

However, this older ->query() function does not do that and each time is is called increases it's memory hold.

It's also worth better caching in this function...

Merge pull request #18638 from eileenmcnaughton/test_perf

[Civi\Test] Fix test output noise

Merge pull request #18637 from demeritcowboy/no-details

dev/core#2075 - E_NOTICE viewing an activity that has no details contents

[Civi\Test] Fix test output noise

Seeing this is test logs

Warning: Invalid argument supplied for foreach() in /home/jenkins/bknix-dfl/build/core-18634-8zcf7/web/sites/all/modules/civicrm/Civi/Test/Schema.php on line 29

Call Stack:
    0.0007     530944   1. {main}() /home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar:0
    0.0498    9999808   2. PHPUnit\TextUI\Command::main() /home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar:615
    0.0498   10008600   3. PHPUnit\TextUI\Command->run() phar:///home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar/phpunit/TextUI/Command.php:162
    1.1684  104654872   4. PHPUnit\TextUI\TestRunner->doRun() phar:///home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar/phpunit/TextUI/Command.php:206
    1.2327  104791840   5. PHPUnit\Framework\TestSuite->run() phar:///home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar/phpunit/TextUI/TestRunner.php:652
 3300.8182  675188928   6. PHPUnit\Framework\TestSuite->run() phar:///home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar/phpunit/Framework/TestSuite.php:746
 3300.8199  675188928   7. CiviUnitTestCase::setUpBeforeClass() phar:///home/jenkins/bknix-dfl/extern/phpunit7/phpunit7.phar/phpunit/Framework/TestSuite.php:703
 3300.8199  675188928   8. CiviUnitTestCase::_populateDB() /home/jenkins/bknix-dfl/build/core-18634-8zcf7/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:311
 3300.8199  675188928   9. Civi\Test\Data->populate() /home/jenkins/bknix-dfl/build/core-18634-8zcf7/web/sites/all/modules/civicrm/tests/phpunit/CiviTest/CiviUnitTestCase.php:305
 3300.8199  675189248  10. Civi\Test::asPreInstall() /home/jenkins/bknix-dfl/build/core-18634-8zcf7/web/sites/all/modules/civicrm/Civi/Test/Data.php:45
:

handle missing details

Merge pull request #18596 from MegaphoneJon/core-2063

core#2063: Don't throw a warning when public ext directory isn't found

Merge pull request #18564 from seamuslee001/dev_core_1838

dev/core#1838 Ensure that no fatal error is triggered if you try to a…

Merge pull request #18544 from magnolia61/participant_status_notification_default

Set participant status notification to false by default

dev/core#1838 Ensure that no fatal error is triggered if you try to access a merged contact and the contact that it was merged into has been permanently deleted

Move exception capturing into the page layer and extend unit test to cover page function

Update status message as per Mikeý's comment

Merge pull request #18633 from eileenmcnaughton/leak2

dev/core#2073 just tweak a memory leak

dev/core#2073 just tweak a memory leak

This one is like https://github.com/civicrm/civicrm-core/pull/18632 but only
seems to have switched us from an xml leakage to a string leakage - it still
seems slightly better from a code quality point of view

Merge pull request #18630 from eileenmcnaughton/pps

[REF] Parse ids before sending to single function (minor simplification)

Merge pull request #18619 from demeritcowboy/contact-test

[NFC/Test] Unit test activity-contact variations

Merge pull request #18570 from mlutfy/pcpLinksHook

dev/core#2061 PCP: call the hook_civicrm_links hook for PCP page user actions

Merge pull request #18626 from demeritcowboy/why-no-id

[Test framework] Wrong group id in mailing test setup

Merge pull request #18627 from civicrm/5.30

5.30

Merge pull request #18628 from seamuslee001/dev_core_2035

dev/core#2035 Add in upgrade step to fix the template copy on current…

[REF] Parse ids before sending to single function (minor simplification)

Overview
----------------------------------------
Minor simplification - parse ids into valid format & pass them into single, rather than passing them in wrong & 'asking' singleto parse them

Before
----------------------------------------
parsing of ids into usable array done at the last minute, other values passes around unnecessarily

After
----------------------------------------
parsing done close to the point where they are derived

Technical Details
----------------------------------------

Comments
----------------------------------------

Merge pull request #18613 from mattwire/moveloadrelatedobjects

Simplify call to loadRelatedObjects in repeat/completetransaction

dev/core#2035 Add in upgrade step to fix the template copy on current installs

Merge pull request #18602 from eileenmcnaughton/msg

dev/core#2035 Invoice template - show Amount paid even when it is fully paid

dev/core#2061 PCP: call the hook_civicrm_links hook for PCP page user actions

missing id

Merge pull request #18559 from agileware/CIVICRM-1567

Update the post-upgrade thank you message to include URLs to CiviCRM contributors, CiviCRM members and minor rewrite

Simplify call to loadRelationObjects in repeat/completetransaction

Merge pull request #18590 from eileenmcnaughton/taskname

[REF] Remove unused taskName variable

Merge pull request #18600 from eileenmcnaughton/aipn

[REF] IPN - move unshared chunk of code out of shared function

Merge pull request #18536 from eileenmcnaughton/main

[REF] Paypal std ipn Move not-actually shared-code out of shared code function

Merge pull request #18614 from eileenmcnaughton/mem

[REF] Remove some unused params, move one to where it is used

[REF] Remove some unused params, move one to where it is used

Merge pull request #18617 from eileenmcnaughton/ord

[Ref] Extract getOrderParams

Merge pull request #18620 from eileenmcnaughton/notice

Enotice fix

Merge pull request #18622 from civicrm/5.30

5.30

Merge pull request #18615 from eileenmcnaughton/530

Fix regression on back-office membership renewal by credit card

Enotice fix

test activity contact variations

Merge pull request #18609 from eileenmcnaughton/act2

dev/core#2057 Reduce queries when calling activity.create

Fix regression or back-office membership renewal by credit card

Looking at the code I realised a mistake was made in  https://github.com/civicrm/civicrm-core/pull/17398 whereby
the actual membership id would not be passed through correctly

[Ref] Extract getOrderParams

Overview
----------------------------------------
Minor extraction

Before
----------------------------------------
Code not re-usable

After
----------------------------------------
Code is re-useable, basis for further fix

Technical Details
----------------------------------------

Comments
----------------------------------------
Note this ties into https://lab.civicrm.org/dev/membership/-/issues/28

Merge pull request #18593 from mattwire/joblog

Add an 'Execute Now' button to the job log

dev/core#2057 Reduce queries when calling activity.create

This reduces queries in 2 ways
1) if the action is 'create' then existing activity contacts cannot exist, so do not try to delete them
2) if the action is 'edit' then look for & delete for all 3 record types at once.

There are still questions about how we can improve this further but it should remove up to 3 queries per
Activity.create call

Merge pull request #18604 from eileenmcnaughton/act_cont

[REF] Very minor cleanup

Add an 'Execute Now' button to the job log

Merge pull request #18605 from totten/master-pscss

dev/core#1393 - distmaker - Skip new file "vendor/bin/pscss"

Merge pull request #18586 from eileenmcnaughton/blok

[REF] Fix Event location to create it's locations directly rather than via shared methods

dev/core#2035 Invoice template - show Amount paid even when it is fully paid

In https://github.com/civicrm/civicrm-core/pull/16680/files?w=1#diff-b211e0dac858fdad5d480c118d645e0bR129 there was a change from
'show amount paid & due depending on pay-later status' to 'show amount paid & due depending on whether payment is due'

This has been experienced as a regression and, being an invoice, there seems no reason to only change it sometimes.

This change just alters the template that new installs will receive. If approved another step is needed to update existing
installs (unless they have customised the template)

Merge pull request #18598 from eileenmcnaughton/prim

Fix bug in primary handling where TRUE rather than 1 used

Merge pull request #18601 from eileenmcnaughton/apiv3activity

Test cleanup fix

dev/core#1393 - distmaker - Skip new file "vendor/bin/pscss"

This file was recently added by way of `scssphp`.  We don't use it, and
trying to bundle the symlink into the tarball breaks some consumers.

* Before (last release): `vendor/bin/pscss` does not exist
* Before (current master): `vendor/bin/pscss` is created as symlink, copied to tarball
* After (this commit): `vendor/bin/pscss` is created on dev-builds but omitted from tarball

Minor code cleanup

Remove unused variable

Test cleanup fix

Note it's better practice to clean up in the tear down but it looks like someone
tried & failed before so let's see....

Merge pull request #18447 from mlutfy/inheritLocaleRegression

dev/translation#51 Fix inheritLocale regression

Merge pull request #18567 from eileenmcnaughton/apiv3activity

dev/core#2057 Fix 'sleeper-bug' in apiv4, BAO activity.create

[REF] IPN - move unshared chunk of code out of shared function

We are passing a lot of variables into recur (& going to a lot of work to construct them) when they are not
actually processed in a common way - returning them to the calling functions makes it clear we are
a skip & a jump from not needing to instantiate objects at all

Merge pull request #18591 from eileenmcnaughton/search

[REF] Consolidate retrieval of searchFormValues

Merge pull request #18597 from seamuslee001/core_exts_distmaker

[REF] Include recently added core extensions into distmaker

Fix bug inn primary handling where TRUE rather than 1 used

Merge pull request #18571 from eileenmcnaughton/aipn

dev/financial#148 Duplicate validateData onto A.net

[REF] Include recently added core extensions into distmaker

Merge pull request #18594 from mattwire/repeattransactiondoubleexception

Remove double exception handling in repeattransaction

Don't throw a warning when public ext directory isn't found

[REF] Consolidate retrieval of searchFormValues

Currently there are 3 ways in which the values from the searchForm are retrieved

1) the search form sets a value 'searchFormName' on the form during search which can
be later retrieved
2) the search task has an action that reflects the form it came from
3) as per 2 but there is additional handling for the fact it might be
the contact search (knowable because the entity has been set to 'Contact'

I'm not 100% sure at this stage that the selected method (3) in this PR is the best -
but it seems 'as good' as 1 with less form-state stuff and this PR consolidates it
into 1 place so it is handled consistently

Merge pull request #18587 from eileenmcnaughton/prevnext

dev/core#2029 E2E.Core.PrevNextTest.testDeleteByCacheKey More debug attempts

Merge pull request #18595 from adixon/preferred-language-1883

pass in "required" value when building preferred_language form element

pass in "required" value when building preferred_language form element

Remove double exception handling in repeattransaction

Fix MailingJob::writeToDB to handle it's own activityTarget wrangling

Per https://github.com/civicrm/civicrm-core/pull/18567 it makes sense for activity to have basic support for activity targets
but form more nuance the function can DIY

Fix 'sleeper-bug' in api.

It turns out that the Activity.create BAO
- deletes the existing source contact for an activity if the param 'source_contact_id' is set
- deletes existing assignee contacts for an activity if the param 'assignee_contact_id' is empty
- deletes existing target contacts for an activity if the param 'target_contact_id' is empty

The v3 api provides some fairly convoluted wrapping to effectively convert is empty
to isset (via 2 params deleteActivityAssignment, deleteActivityTarget which would only
be anything other than true if the relevant value key is not set or we are operating from
the one place in universe that passes in this param (well actually it's true then too
https://github.com/eileenmcnaughton/civicrm_entity/commit/bd779c19bbf82ca22260615b4f7667d02eee1200
)

The v4 api does no handling and we can expect that on update activity contact records are
likely being lost - ditto with direct BAO calls that were probably QAd at some point but
may have changed over time.

This changes the BAO to treat the assignee & target params the same way as source
- ie do nothing if not set, but empty means to delete them

Remove support for api param deleteActivityAssignment, deleteActivityTarget

I did a universe search & it was only called from one place which
I fixed
https://github.com/eileenmcnaughton/civicrm_entity/commit/bd779c19bbf82ca22260615b4f7667d02eee1200

- it's never been a tested param so technically not supported

This is part of my effort to fix redundant queries in Activity.create regarding
activity contacts

[REF] Fix Event location to create it's locations directly rather than via shared methods

This form does extra work in order to call  CRM_Core_BAO_Block::create and CRM_Core_BAO_Address::create - but they have
extra handling that only exists for this code place. So, we are making 2 functions more complex in order to inter-relate them.

This simplifies the CRM_Event_Form_ManageEvent_Location and I will do follow on cleanup once merged. Note I previously
added tests to CRM_Event_Form_ManageEvent_LocationTest specifically to cover this (in a recent previous refactor

Merge pull request #18588 from eileenmcnaughton/phone

dev/core#2046 Fix Phone:add to be a pseudonym for Phone.create

[REF] Remove unused taskName variable

This variable is only used at the tpl layer in export - there is a separate PR
to change that usage to something more meaningful
https://github.com/civicrm/civicrm-core/pull/18589

Other than that all this task assignment appears to be just cruft

It's likely that it precedes other ways of setting the page title

dev/core#2046 Fix Phone:add to be a pseudonym for Phone.create

Per https://lab.civicrm.org/dev/core/-/issues/2046 we have discussed rationalising add vs create

In the case of phone making this change only affects one place - a place that currently has a
bug that relates specifically to the handling of is_primary & which is more solvable by
calling create with it's extra is_primary handling.

(the related bug is that the is_primary handling in Block::create is unreliable &
to mitigate that we are doing an additional 10 queries on every contact create - so
handling is_primary right in the first place helps address that)

Merge pull request #18510 from eileenmcnaughton/preprocess

[Ref] Extract getFormValues

dev/core#2029 More debug attempts

Merge pull request #18583 from colemanw/afformGui

Afform GUI: add bootstrap3

Merge pull request #18397 from swastikpareek/issue-1987-fix-isFrontPage-function

dev/core#1987: Fix Drupal Base 'isFrontEndPage' function to consider Drupal public page for FE theme

Merge pull request #18584 from demeritcowboy/schedmail-targets

[NFC/Test] Unit test for target contacts on Bulk Email when mailing in batches

CIVICRM-1567 Update the post-upgrade thank you message to include URLs to CiviCRM contributors, CiviCRM members and minor rewrite

Merge pull request #18572 from colemanw/concat

APIv4 Search: Improve GROUP_CONCAT with :label prefix

Afform: add bootstrap3 bundle

Merge pull request #18569 from eileenmcnaughton/synt

SyntaxConformance::testSqlOperators cleanup fix - ensure entities are deleted

Merge pull request #18538 from eileenmcnaughton/name

[REF] Remove checks as to whether entityShortName is in the component  array

Merge pull request #18512 from eileenmcnaughton/export_classes

Separate export into separate classes to allow unravelling of component handling (Member)

Afform: code cleanup & remove unused menu item

test for target contacts on Bulk Email for mailing in batches

Merge pull request #18562 from eileenmcnaughton/locit

[Ref] Merge code - Move determination about location type to the getDAOForLocation…

Merge pull request #18578 from eileenmcnaughton/api42

Simplify CRM_Core_BAO_Location::createLocBlock by moving eventLocation specific handling back to the class

Merge pull request #18566 from eileenmcnaughton/act_contact

dev/core#2057 ActivityContact.create Remove select query that never or almost never finds something.

Merge pull request #18579 from colemanw/select2-bootstrap

Add select2-bootstrap to greenwich theme

Search ext: Expose DISTINCT modifier

APIv4 Search: Improve GROUP_CONCAT with :label prefix

This moves handing of pseudoconstant suffix replacement from the UI level to the API level,
which allows APIv4 to return GROUP_CONCAT results as an array (by default, if no separator specified).

It also improves post-query formatting in general, with finer-grained formating callbacks for sql functions.

ext/greenwich - Improve portability. Consolidate tasks.

1. Using 'php-eval' instead of 'shell' should make it safer to run on Windows.

2. The two steps are very closesly related. Putting them into the same 'task'
   means that it's a bit easier to understand the 'watch' behavior.

composer.lock - Update compile plugin

composer.json - Update compile plugin

Merge pull request #18573 from eileenmcnaughton/nnfc

[NFC] Minor cleanup - use strict comparison where possible