Add release-notes/5.9.1.md

5.10.0 release notes: bulk of edits

* pulling out misc and organizing lines with gitlab issue numbers

* linking to gitlab issues

* update lines with gitlab issues to have the gitlab titles

* progress

* second pass

* finished first pass of notes

* deleting rows related to merge

* reorganizing sections

5.10.0 release notes: added boilerplate

5.10.0 release notes: raw from script

Merge pull request #13536 from eileenmcnaughton/export_sc

dev/core#651 Fix group by on export soft credits (possible recent regression, clearly wrong).

dev/core#651 Fix group by on export soft credits (possible recent regression, clearly wrong).

As pointed out by the reporter the group by is being calculated as if it were a string but it's an array, this fixes.

This code has been touched recently so it might be a recent regression. 5.10 is the first release in a long time where
export is working in some mysql / output configs after a big refactor to get rid of wide temp tables

Merge pull request #13537 from eileenmcnaughton/cont_comp

dev/core#680 make receive_date required on backoffice contribution form

dev/core#680 make receive_date required on backoffice contribution form
and api

Discussion on https://lab.civicrm.org/dev/core/issues/680#note_13205

Merge pull request #13533 from eileenmcnaughton/prev_next

Prev next

Disable full group by mode whe groupContacts is TRUE

This prevents an error when using the cache and allows us to move
past this without untangling the messy way other tables are joined back in
for now.

Note it became necessary due to query changes off the cache but the query is no
different in accuracy

dev/core#695 - Make custom searches slightly less fragile

dev/core#679 fix loss of search results when including tags or groups.

The bug as described was a bit tricksy to replicate as it is inconsistent and the
code is not actually outputting the tags/ groups. I think these are pre-existing issues

I was able to replicate by having 2 search profiles - one with only tags & one one with only groups & switching back & and force on output -  once I replicated I found that there was a regression due to

https://github.com/eileenmcnaughton/civicrm-core/commit/2ca46d4d5a8cd15929ac0939ca2bb380a3de027e#diff-e54381bfdf51e31cab376c71ca0d66ffR4967

whereby the groupBy had been dropped, causing the results to be squashed into a single row

Merge pull request #13524 from eileenmcnaughton/search_rc

Revert fix causing unreleased regression

Revert "Assign the translated formValues to itself"

This reverts commit e8ef090642f0ff5639166b847a31f4e50eec3dd6.

Revert "Rewrite testHiddenSmartGroup"

This reverts commit 7810fa53a7f5d8be82ebda7fde122d0fd349d358.

Merge pull request #13478 from pradpnayak/eventRegression

dev/core/issues/653, fixed regression on creating new event using event template

dev/core/issues/653, fixed regression on creating new event using event template

Use core function to over-ride values

Merge pull request #13451 from eileenmcnaughton/everyone_510

(dev/core#660) Address regression whereby Anonymous users can no longer register for an event if they have ACLs to see a contact

Remove foreign key on civicrm_acl_contact_id.user_id.

This won't actually remove it from installs - we need to address that separately via ensuring people can and do run
the System.updateIndices api call but it removes it from new installs and from
tests, hence the test should pass

Fix mishandling / loss of check_permission flag

Add test to demonstrate fatal error when accessing permitted users that are cached using the acl_cache.

This has arisen during investigation of a possible regression - it turns out that if you give the 'everyone' group
access to a contact using ACLs (or hooks I believe) they get a fatal error on any attempt at event or other registration.

The issue is that when attempting to check for duplicates the call is made using check_permission. This in itself is a possible
regression as the CRM_Dedupe_Finder::dupesByParams function now drops the check_permission key when it is equal to 0 from

https://github.com/civicrm/civicrm-core/commit/4f33e78b901fb7cdb38a3026f88b59a2f9fd2c68

So we have an issue that
1) we are now applying check_permission when doing a dupe_check from front end forms - this probably is resulting in 5.9
sites getting too many duplicates are they would always be null for anon users
2) if we DO do a permissions check when an acl or hook has been used to give anon users permission to access
contacts then they will get a fatal error. This is because it sets contact_id to 0 and attempts to insert it into the
acl_contact_cache.

I think we need to either remove the array_filter line that we think we may not need per code comments
or add specific handling for the check_permission flag

AND drop the foreign key constraint on the civicm_acl_contact_cache table. This means they will
no longer be removed when a contact is deleted but this is a clean up issue rather than one with
functionaly implications & we *should* have some form of cleanup in play on that table. In addition,
removing the constraint will reduce write contention

Merge pull request #13448 from eileenmcnaughton/everyone_510

Fix unreleased regression on building GroupContact clause

Merge pull request #13449 from colemanw/caseDateSearch

Fix broken case activity date filter

Fix unreleased regression whereby acls are skipped for groups

Fix broken case activity date filter

Add unit test to cover granting everyone' group permission to access a group

Merge pull request #13445 from seamuslee001/dev-656

(dev/core#656) unreleased regression - attendee report generates unde…

(dev/core#656) unreleased regression - attendee report generates undefined property notice

Merge pull request #13429 from seamuslee001/5.10

Port Test fixes to 5.10

(NFC) Ensure that when loading in the test data it is done with UTF8 encoding

(dev/core#647) Fix up Test Class names and file names to ensure all test classes are run by Jenkins

(dev/core#647) Fix Up Contact Selector Test by changing class name to get test to run and make changes following code changes that affect clauses and calling get rows

CRM_Contact_SelectorTest - Fix escaping

(dev/core#217) CRM_Contact_SelectorTest - Remove stale/unnecessary assertion

The table `civicrm_prevnext_cache` includes three columns (`entity_id1`,
`entity_id2`, `entity_table`).  These columns have some use-cases (e.g.  for
deduping) and some historical value, but the only one needed for
caching search-results is `entity_id1`.

dev/core#217 introduced an interface `CRM_Core_PrevNextCache_Interface` for
caching search-results.  This interface only passes through a list of CID's
(effectively `entity_id1`); because we don't need `entity_id2` and
`entity_table`, it makes no provisions for passing them through, and they're
not saved.  This simplifies the interface and makes it more realistic to
implement alternative prevnext storage mechanisms.

Merge pull request #13414 from eileenmcnaughton/count

Fix php 7.2 countable warning

Fix php 7.2 countable warning

per https://lab.civicrm.org/dev/core/issues/406#note_12393
Warning: count(): Parameter must be an array or an object that implements Countable in CRM_Event_Form_Participant->submit() (line 1722 of .../all/modules/civicrm/CRM/Event/Form/Participant.php).

Set version to 5.10.beta1

Merge pull request #13389 from civicrm/5.9

5.9

Merge pull request #13388 from totten/5.9-msg-tweak

Five Nine - Revise upgrade notice about Money/Int/Float fields

FineNine - Revise upgrade notice to be less alarming

Based on discussion at https://github.com/civicrm/civicrm-core/pull/13384/files#r244890998

(NFC) FiveNine.php - Whitespace

Merge pull request #13386 from civicrm/5.9

5.9

Merge pull request #13387 from seamuslee001/release_notes_update

Update 5.9 Release notes for final fixes

Merge pull request #13385 from eileenmcnaughton/5.9

dev/core#619 fix regression on Address contact-reference fields not rendering results

Update 5.9 Release notes for final fixes

Merge pull request #13384 from seamuslee001/dev_core_337

dev/core#337 Add in upgrade script to set search by range to be false…

Merge pull request #13189 from JMAConsulting/core-564

dev-core#564: Differentiate case relationships in Contact Summary page

dev/core#619 fix regression on Address contact-reference fields not rendering results.

Fixing results not rendering on onbehalf profiles broke addresses - this
limits the handling added for onbehalf to only apply to onbehalf.

Merge pull request #13314 from colemanw/dev/core#337

dev/core#337 - Fix search range for select/radio custom fields

dev/core#337 Add in upgrade script to set search by range to be false for Fields of money, float, int with widget types radio and select which were how they were effectively implementeted originally

Merge pull request #13381 from civicrm/5.9

5.9.0 release notes (#13244) to master

5.9.0 release notes (#13244)

Merge pull request #13380 from yashodha/campaign_report_clean

(dev/core#491) campaign cleanup for member summary report and show di…

Merge pull request #13338 from eileenmcnaughton/export

Export merge to household - fix DB error relating to fields too long for table.

(dev/core#491) campaign cleanup for member summary report and show disabled campaigns as well.

Merge pull request #13358 from yashodha/campaign_reports

(dev/core#491) campaign cleanup for 'pledged but not paid' report and…

Merge pull request #13379 from yashodha/campaign_report_clean

(dev/core#491) campaign cleanup for member detail report and show dis…

dev-core#564: Differentiate case relationships in Contact Summary page

(dev/core#491) campaign cleanup for member detail report and show disabled campaigns as well.

Merge pull request #13378 from eileenmcnaughton/activity_notice

Fix notice on first loading activity search form

Fix notice on first loading activity search form

Merge pull request #13372 from eileenmcnaughton/activity_extract

Simplify handling for case checking.

Merge pull request #13376 from yashodha/campaign_report_clean

(dev/core#491) campaign cleanup for participant listing report and sh…

Merge pull request #13375 from yashodha/dev_622

(dev/core#622) User Dashboard doesn't show Edit Contact Information link

(dev/core#491) campaign cleanup for participant listing report and show disabled campaigns as well.

(dev/core#622) User Dashboard doesn't show Edit Contact Information link

Merge pull request #13344 from seamuslee001/unit_test_13343

Add in unit test to support changes in UF API in PR 13343

Merge pull request #13343 from GinkgoFJG/case-issues-w-ufgroup-api

Improved support for case variability in UF* API calls.

Export merge to household - fix DB error relating to fields too long for table.

The key fix here is that the fields for merging to household are no longer added to the temporary table.

They are fully loaded in php anyway so there is no performance gain using a temp table.
Instead we iterate them in php as we process each row

remove unneccessary code

Merge pull request #13370 from eileenmcnaughton/payment

[REF] extract internals of Payment.create into function on BAO class.

Simplify handling for case checking.

We already check if the contact has generic case permissions in the component checking section.

We can remove that check from the case check & also early return from there since a NO
at that point can't be overriden

[REF] extract internals of Payment.create into function on BAO class.

This is a partial of https://github.com/civicrm/civicrm-core/pull/13330 - trying
to separate out the main code move from the changes. My only change was to change the name to
addPayment since that is what we are doing but here are some additionaly thoughts.

1) I'm inclined to put the class onto a new pseudo-bao CRM_Finanial_BAO_Payment. We already have this
pseudo-entity on the api level & it gives us a way to build up a place for the functions we are migrating
towards.

2) I think we should consider changing the input parameters to this function to be
- contributionID, total_amount & line_items or in some way limiting the parameters tha
t get passed through. We have historically gotten ourselves in trouble by
having people hacking in another parameter to go through whereas the strength of the api
is clear inputs & outputs. I note the api will need to support
'is_email_receipt' as will this fn & the CRM_Contribute_Form_AdditionalPayment::emailReceipt
should be moved off the form layer - possibly to our new BAO

3) I think the exceptions need to be CRM_Core_Exceptions if thrown in the BAO although this is kinda cosmetic

Change-Id: Ib5caf0d878e9c5cc735cb1a20c640f61da2dbfc6

Merge pull request #13371 from eileenmcnaughton/activity_extract

[REF] simplify CRM_Activity_BAO_Activity function by using early returns

[REF] simplify CRM_Activity_BAO_Activity function by using early returns.

This function returns a bool. In the process it sets the  variable, however, once set to false in two places
it can never be set to true, so I am simply replacing a big if block with an early return to simplify the code.

This is a further block that can go but it is a slightly different patter & would remove 2 levels of 'if'
so it feels like an easier review if I leave that out of scope

Merge pull request #13367 from mattwire/nfc_commentscustomfield

NFC tidy up comments, remove unused variables in customfield classes

Merge pull request #13368 from mattwire/case_cachecount

Cache case count when getting list of cases so query is executed once instead of three times

Merge pull request #13359 from chamilwijesooriya/issue-625

(dev/core#625) DB error on Case Summary report

Merge pull request #13328 from eileenmcnaughton/phone_handle

[REF] genericise function to add pseudoconstant data to fields to process

Merge pull request #13360 from ray-wright/patch-2

Revert to showing overdue activities on a case first

Cache case count when getting list of cases so query is executed once instead of three times

NFC tidy up comments, remove unused variables in customfield classes

Merge pull request #13366 from seamuslee001/refinement_623

dev/core#623 Refine the upgrade statement to only those of the old st…

dev/core#623 Refine the upgrade statement to only those of the old standard value

GitLab issue 625 DB error on Case Summary report

Merge pull request #13299 from colemanw/activityDate

Activity date fields -> datepicker

Merge pull request #13336 from mattwire/missingcaseaddaction

Don't crash with missing class if action is not defined when opening new case

Merge pull request #13363 from civicrm/5.9

5.9

Merge pull request #13361 from seamuslee001/lab_core_594

(dev/core#594) Fix key-value mappings for WYSIWYG setting (editor_id). Accept keyColumn option.

Merge pull request #13362 from seamuslee001/lab_core_623

dev/core#623 add in upgrade step to update Away type hold threshold t…

FiveNine.php - Copy-edit post-upgrade message

dev/core#594 Fix issue where editor_id is expected to be keyed on name not on value

Add in a post upgrade message encourging people to check their editor setting

dev/core#623 add in upgrade step to update Away type hold threshold to be 30 as agreed to in CRM-6405 version 3.2. It appears there may have been no upgrade made at the type so catching up now

Merge pull request #13215 from mattwire/recur_invoice_selfservice_links

Display self-service links in email receipts based on payment processor capabilities

dev/core#561 - case_start_date field -> datepicker

activity_duration field -> number

dev/core#561 - activity_date_time field -> datepicker

To revert to showing overdue activities first

Based on this issue, I'd like to remove the data-order, as the BAO Case file already sorts.

https://lab.civicrm.org/dev/core/issues/626

Don't crash with missing class if action is not defined when opening new case

Display self-service links in email receipts based on payment processor capabilities

Merge pull request #13350 from francescbassas/patch-16

#620 - Unable to show custom fields on Repeat Contributions Report

(dev/core#491) campaign cleanup for 'pledged but not paid' report and show disabled campaigns as well