Merge pull request #19261 from colemanw/searchKitFix

Search kit - fix bugs introduced during refactoring

Merge pull request #19245 from seamuslee001/dev_core_2263

dev/core#2263 Do not try and store items in the session if the sessio…

Search kit - fix bugs introduced during refactoring

dev/core#2263 Do not try and store items in the session if the session is currently empty

Store the locale in the session even if we are in a single lingual instance

Merge pull request #19230 from totten/master-phpseclib-cxnrpc

composer.json - Update civicrm-cxn-rpc and phpseclib

composer.json - Update civicrm-cxn-rpc and phpseclib

Before
------

Require `civicrm-cxn-rpc` v0.19 (with `phpseclib` v1.x)

After
-----

Require either of:

* `civicrm-cxn-rpc` v0.20 (with `phpseclib` v2.x)
* `civicrm-cxn-rpc` v0.19 (with `phpseclib` v1.x)

Technical Details
-----------------

* The public interfaces from civicrm-cxn-rpc are the same in 0.19+0.20.
  They only differ in which verison of `phpseclib` is used.
* As pointed out in https://github.com/civicrm/civicrm-cxn-rpc/issues/9, we're not
  the only folks using phpseclib, so some flexibility on that seems good.
* The primary change in phpseclib 2.x is the use of PHP namespaces
  (e.g. `Crypt_AES` => `\phpseclib\Crypt\AES`).
* There are newer versions of both v0.19 and v0.20 which bundle an updated certificate.

Merge pull request #19219 from colemanw/targetTableFix

Fix Invalid argument PHP warning

Merge pull request #19217 from totten/master-assert-perm

DispatchPolicy - Actively report any upgrade problems with hook_civicrm_permission

Fix Invalid argument PHP warning

DispatchPolicy - Actively report any upgrade problems with hook_civicrm_permission

Overview
--------

This is a preventive/diagnostic revision which would bring to light potential
problems with firing `cleanupPermissions()`/`hook_civicrm_permission` at the
wrong moment during an upgrade.

Before
------

If `cleanupPermissions()` (and its `hook_civicrm_permission`) are fired too
early during an upgrade, then the cleanup runs quietly but omits important
results (because the hook is dropped).  On several UF's, the
`cleanupPermissions()` **revokes access** for any omitted permissions.  The
sysadmin would have manually re-grant access.

After
-----

If `cleanupPermissions()` (and its `hook_civicrm_permission`) are fired too
early during an upgrade, then it raises an error during the upgrade.

Surely, it's better to report the error rather than silently drop the data.

Comments
--------

* This revision is preventive/diagnostic/speculative.  It's based on rumor that
  somebody had a problem with permissions in an upgrade.  I don't actually have
  steps to reproduce a probelmatic case.

* To see this preventive mechanism in action, I provoked a trivial violation:
    * Setup a DB with 5.32
    * Checkout the code for 5.34.
    * Add a local hack https://gist.github.com/totten/e1448b343f94ff9c3d971402a1b3db3d
      which has the effect of running `cleanupPermissions()` prematurely.
    * Observe: `cv upgrade:db` fails (cv v0.3.5+)

* It's tempting to think of `hook_civicrm_permission` as returning a static list of
  strings -- in which case, there's no real harm to firing during the defensive
  phase.  The problem is that `hook_civicrm_permission` can also be used for
  dynamic scenarios.  (The power of hooks!) That's useful for any site-building
  extension (e.g.  bespoke forms/views/APIs/dashlets) where you generate new
  permissions based on site configuration.  That will depend on the
  correct-functioning of the extension+configuration...  which cannot be
  ensured during the defensive upgrade-phase...  and which creates a parallel
  choice between incorrect-results (data-loss) or fatal-error.  This is the
  real reason why one shouldn't run `cleanupPermissions()` during the defensive
  phase.  (Of course, we should run it...  during the liberal phase...)

Merge pull request #19192 from totten/5.33-upgrade

dev/core#2232 - Upgrade UI contaminates cache via l10n-js. Consolidate isUpgradeMode().

Merge pull request #19195 from seamuslee001/5322_rn

Add release-notes/5.32.2.md

Add release-notes/5.32.2.md

Merge pull request #19189 from eileenmcnaughton/533q1

Fix failure to assign view tpl variables to view page if context=search is in the url

Partial revert "dev/core#2232 Permit hook_civicrm_container and some other prebootish hooks to run during upgrade and clear out the asset builder cache post upgrade"

This reverts commit 756d9e0dbbe4ff66d2568f02a8ee1f152bd9c5e5.

dev/core#2232 - Upgrade UI contaminates cache via l10n-js. Consolidate isUpgradeMode().

This patch fixes an upgrade bug where `CachedCiviContainer` has stale data after an upgrade.

To do this, it removes an edge-case where two overlapping functions disagree.

Steps to Reproduce
------------------

1. Create a new/empty WP build
2. Install CiviCRM 5.30.1 from zipball
3. Install Mosaico 2.5
4. Download+extract new 5.32.1 zipball
5. Navigate to the GUI upgrade screen. Execute upgrade
6. Click to go back to the CiviCRM dashboard.
7. Receive error about the service 'mosaico_graphics'

Discussion
----------

The problem is created while running the upgrade GUI (step 5).  The GUI sends several HTTP
requests (`civicrm/upgrade`, `civicrm/upgrade/queue/ajax/runNext`, etc).  At the end, there is
an HTTP request for `civicrm/ajax/l10n-js/en_US`.  The `l10n-js` request creates a flawed copy
of `CachedCiviContainer` which is responsible for subsequent errors.

This shouldn't happen - there are defensive mechanism which prevent it from happening (e.g.
during `civicrm/upgrade`).  What makes `civicrm/ajax/l10n-js/en_US` different?  It turns on
the implementation of `isUpgradeMode()` which activates the defensive mechanisms.

Before
------

There are two implementations of `isUpgradeMode()` (via `CRM_Core_Config` and
`CRM_Utils_System`).  They often agree, but not always.

Some defensive measures trigger on `CRM_Core_Config::isUpgradeMode()` and others trigger on
`CRM_Utils_System::isUpgradeMode()`.  They often trigger together, but not always.

Let's see how these can playout in a few HTTP requests:

1. `civicrm/dashboard`: The functions agree -- it's a regular page, not an upgrade.  Therefore:
     * (a) It allows extensions to run fully.
     * (b) It enables `CachedCiviContainer` (read or write automatically).
     * (a+b) It puts good/full information in the cache.
2. `civicrm/upgrade`: The functions agree -- it's an upgrade. Therefore:
     * (a) It runs in paranoid mode (suspended extensions).
     * (b) It disables `CachedCiviContainer`.
     * (a+b) It puts no information in the cache.
3. `civicrm/ajax/l10n-js/en_US`: The functions *disagree*. In this case:
     * (a) It runs in paranoid mode (suspended extensions).
     * (b) It enables `CachedCiviContainer` (read or write automatically).
     * (a+b) It puts bad/incomplete information in the cache.

After
-----

There is one implementation of `isUpgradeMode()`.  It may be called through
either class (`CRM_Core_Config` or `CRM_Utils_System`), but the results will
always agree.

This produces the same appropriate outcome for cases of agreement (1) (2), and it fixes the
wonky/mismatched behavior in (3).

Merge pull request #19185 from eileenmcnaughton/533q

dev/core#1019 Fix currency formatting of Total Amount on Event and Contribution pages (with multi-currency form support)

Fix failure to assign view tpl variables to view page if context=search is in the url

Whack-a-mole round 10

Merge pull request #19183 from eileenmcnaughton/533e

dev/core#2248 Ensure variables are assigned to tpl for urls

dev/core#1019 Fix currency formatting of Total Amount on Event and Contribution pages (with multi-currency form support)

dev/core#2248 Ensure variables are assigned to tpl for urls

Merge pull request #19176 from eileenmcnaughton/533m

dev/core#2246 Fix failure to filter exports

Merge pull request #19173 from eileenmcnaughton/533

dev/core#2244 Simplify and consistently apply checking of whether financial acls are enabled

dev/core#2246 Fix failure to filter exports

This fixes regression caused by us more consistently setting componentTable.

The short version here is that the presence of a componentClause should take precedences
over the inner join intended as a blunt, and maybe unnecessary, measure to
limit the export to the entity in question

dev/core#2244 Simplify and consistently apply checking of whether financial acls are enabled

Per https://lab.civicrm.org/dev/core/-/issues/2244 the move of some handling to this function
did not consistently include an early return when the setting is toggled off.

Eventually there will be no setting - just 'is this extension enabled or not' but
in the transition we need this. The new version is easier to copy and paste :-)
and uses a function in the extension. The function in the main code base is
mostly a lot of code to handle the way the setting used to be stored & it
could just check the setting too now

Merge pull request #19159 from colemanw/api4DynamicJoinFix

APIv4 - Fix dynamic bridge joins (used by Search Kit)

Merge pull request #19161 from seamuslee001/5.33

Add release-notes/5.32.1

Add release-notes/5.32.1

APIv4 - Fix dynamic bridge joins

Move ON clause conditions to the first join when they reference the bridge entity itself
Ensure bridge joins work with joining the same table to itself (e.g. Contact to Contact via RelationshipCache)

Merge pull request #19120 from eileenmcnaughton/fee

Handle possibility of fee_amount = ''

Merge pull request #19150 from colemanw/searchKitJoins

Search kit joins

Search kit: bump version

Search kit: Improve labels & relevance of smart group field selection

Search kit: Display join name as part of default label

Merge pull request #19125 from eileenmcnaughton/ev533

CiviEvent - Error registering participants via search task

Merge pull request #19141 from seamuslee001/dev_core_2232_2

dev/core#2232 Permit hook_civicrm_container and some other prebootish…

Search kit: Wider dropdowns for entity selection

Search kit: Add UI support for multiple, nested joins

dev/core#2232 Permit hook_civicrm_container and some other prebootish hooks to run during upgrade and clear out the asset builder cache post upgrade

CRM_Event_Form_Task_Register - Fix error "getFieldValue failed" (tentative)

When preparing the event-registration form, `CRM_Event_Page_Tab::preProcess()` looks up the designated contact ID and
calls `checkUserPermission()`.  The error message is (effectively) reporting that the permission-check fails because
there is no contact ID.

And this is a legit thing to complain about -- if you're embedding the event-registration form as part of a
search-task, then there is no *singular* contact ID.  (There is a potentially very long list of contact IDs - which is
probably stored/reported some other way.) The permission-check for this context seems like it ought to be different.

I labeled the commit (tentative) because I'm not entirely certain that I understand the contract of this
route/controller.  It has multiple overlapping use-cases, and I'm not certain if I've tracked them all.  However, this
patch does seem to fix the "getFieldValue failed" problem when running as a search-task.

Merge pull request #19139 from seamuslee001/dev_core_2235

[NFC] dev/core#2235 Fix url link to the OrderAPI Documenation

[NFC] dev/core#2235 Fix url link to the OrderAPI Documenation

Search kit: Add explicit conditions on entityBridge joins

Merge pull request #19134 from mglaman/patch-2

Fix mglaman mapping

Fix mglaman mapping

Event Registration Task - Propagate different qfKey & action for AJAX URLs

When use the search-task to register event participants, the qfKey is
mismatched, and the action is VIEW. It should be ADD, and the qfKey
should be for CRM_Event_Form_Participant.

Additional fix

Fix Fatal Error on trying to use the Register contacts to an event Advanced Search task

Merge pull request #19123 from totten/5.33-search-range

dev/core#2188 - Upgrader - Cleanup any invalid combinations of is_search_range

Merge pull request #19119 from eileenmcnaughton/532b

dev/core#2231 fix failure to calculate next_scheduled_date

dev/core#2188 - Upgrader - Cleanup any invalid combinations of is_search_range=1

These invalid configurations were previously asymptomatic in 5.30 but became symptomatic in 5.31.

Merge pull request #19105 from colemanw/searchJoins

Search Kit: Support robust joins in UI

Set version to 5.33.beta2

Handle possibility of fee_amount = ''

dev/core#2231 fix failure to calculate next_scheduled_date

Merge pull request #19107 from eileenmcnaughton/oauth

Unhide oauth extension

Merge pull request #19104 from MegaphoneJon/export-fix

Unable to export contacts in Civi 5.32+

Unhide oauth extension

We previously indicated in dev-digest oauth would ship in 5.32 &
be unhidden in 5.33 but we forgot to do the last bit

Search Ext: Support robust joins in UI

This uses better join metadata to give explicit conditions for each join,
removing the ambiguity when more than one type of join is possible between the same 2 entities.
It also adds support for joins via EntityBridge APIs.

Merge pull request #19101 from colemanw/searchJoins

Improve APIv4 metadata for RelationshipCache and Bridge entities in general

Potential fix for 5.32+ unable to export contacts

Improve APIv4 metadata for RelationshipCache and Bridge entities in general

These are the core changes needed toward geting joins supported by Search Kit

Set version to 5.33.beta1

Merge pull request #19093 from civicrm/5.32

5.32

Merge pull request #19094 from totten/5.32-bump0

(NFC) release-notes/5.32.0 - Add RC-stage updates

release-notes/5.32.0 - Add RC-stage updates

Merge pull request #19092 from seamuslee001/dev_core_2228

dev/core#2228 Fix issue where by changing location type tries to pass…

Merge pull request #19091 from eileenmcnaughton/form

Fix fatal error on payment edit form

dev/core#2228 Fix issue where by changing location type tries to pass in number:... in the API

Fix fatal error on payment edit form

Merge pull request #19090 from civicrm/5.32

5.32

Merge pull request #19014 from eileenmcnaughton/cancel

dev/core#927 Add test demonstrating that an extraneous activity is being created & fix

Merge pull request #19088 from seamuslee001/dev_core_2227

Ensure that the is_deleted filter is added correctly if we are not se…

Ensure that the is_deleted filter is added correctly if we are not searching for deleted contacts but have access to view deleted contacts

Simplify IF down as per feed back from ACD and also comment from Eileen in chat and extend unit test as well

Merge pull request #19053 from totten/master-afform-tweak

Afform - Update fields and HTML mode in web-based editors

Convert af-monaco to crm-monaco

afGuiEditor - Add optional preview of HTML output

_af_fill_field_metadata() - Provide metadata about selected fields (regardless of DB permissions)

afGuiEditor - Switch canvas panel to use tabs

(1) This makes the canvas and palette line-up more nicely.

(2) This will allow more tabs.

Afform.convert - Add stateless helper API to convert between layouts

crmMonaco - Accept pass-thru arguments to Monaco

afHtmlEditor - Add descriptions. Add more missing fields.

afHtmlEditor - Use more BS3

afGuiEditor - Allow editing `is_public`

afGuiEditor - Add help blocks. Reorder in anticipation of more fields.

Merge pull request #19087 from civicrm/5.32

5.32

Merge pull request #19082 from compucorp/dev-core-1790-contact-card-delay

dev/core#1790: Add short delay before closing tooltip elements

Merge pull request #19084 from eileenmcnaughton/prod

dev/drupal#148 Fix product form such that it is possible to unseletc …

dev/drupal#148 Fix product form such that it is possible to unseletc duration unit, frequency unit

Merge pull request #19078 from seamuslee001/emoiji_test_api3

[NFC] Add in an Emoji test for APIv3 as per Eileen's PR

Merge pull request #19075 from colemanw/searchable

Improve schema metadata for Search Kit

dev/core#1790: Add short delay before closing tooltip elements

Merge pull request #19081 from civicrm/5.32

5.32

Merge pull request #19077 from seamuslee001/dev_core_2213

dev/core#2213 Protect against 404s when wpBasePage is mixed case

Merge pull request #19080 from seamuslee001/master

5.32

Merge in 5.32

Merge pull request #19076 from seamuslee001/update_cache_integration_tests

[NFC] Update Cache/integration-tests version as new version recently …

[NFC] Add in an Emoji test for APIv3 as per Eileen's PR

Merge pull request #18918 from eileenmcnaughton/emoji

dev/core#2165 Test for Handle emojis less fatally where not supported

Annotate DAO files with COMPONENT, exclude disabled components' entities from APIv4 Entity::get