Priceset 2nd half

Priceset/debugwatchdog

Removed cache rebuild from the GroupContact

RT#765026, patch for null values in civicrm_acl_cache

Added the current uncommited changes to production code, and rebased to 4.6.8

Additional files for PDF/Latex

Our changes

release-notes/5.10.3.md - Update "Feedback" to be... closer to reality wrt SA's

release-notes/5.10.3.md - TOC should match actual headings

Set version to 5.10.3

Add in 5.10.3 Security Release Notes

Fix file e-notice by using the correct url variables

Fix variables to match image file hash generation

CRM_Profile_Form - Add fcs for download link on custom field

(REF) Clearer docblocks and file names

Fix multiple issues with file URLs. Use clearer variables and docblocks to reduce confusion.

Try and use the correct variable for file id in custom field uploads and use the standard checksum timout as well

generateFileHash() - If we can't generate a secure, then don't generate any token

Falling back to a constant negates any security benefit of using a hash.

IMHO, the edge-case where `CIVICRM_SITE_KEY` is missing should be
obscure/rare and signifies broader problems for the deployment.  It needs to
be corrected.  If you're worried that having an error-symptom here is too
obscure, then let's add a more prominent error-message via
`CRM_Utils_Check`.

NOTE: There is one pre-existing case in core where (in absence of a key) it
procedes with a constant in lieu of a `CIVICRM_SITE_KEY` .  Specifically,
`CRM_Core_Error::generateLogFileHash()`.  That is not a good example to
follow because it is qualitiatively different:

* In `generateLogFileHash`(), `CIVICRM_SITE_KEY` functions as one of
  multiple redundant security mechanisms -- e.g.  even if
  `CIVICRM_SITE_KEY` is missing, the log file remains hard-to-access because
  (1) the DSN is part of the hash and (2) the httpd protects `ConfigAndLog`.
  (Contrast: The file-hash-code is not *redundant* in the same way.)

* In the context of logging, raising any error (even if it's real error
  condition) can provoke a weird loop (because then that error needs to be
  logged).  The log needs to avoid such loops.  (Contrast:
  `generateFileHash()` is part of the normal post-boot application logic, so
  it's free to register errors normally.)

generateFileHash() and validateFileHash() should be colocated

The two functions (`generateFileHash()` and `validateFileHash()`) are
tightly-coupled.  Most changes to one would require a matching change in the
other.  So they should be parallel.

It'd be OK to say "the hash formula is a general utility for any party using
file APIs" (so put `generateFileHash()` and `validateFileHash()` in `CRM_Core_BAO_File`).

It'd be OK to say "the hash formula is specific to the end-point/page which
serves files" (so put `generateFileHash()` and `validateFileHash()` in
`CRM_Core_Page_File`).

The former feels a bit more accurate, so I pushed it toward that.

Switch to Sha256 and add in a ttl

Further WHIP fixing hmac implementation now need to get it generating consistant hashes

Remove debugging

Block access if no Hash is supplied

security/core#26 Add in a generated Hash to download files so that URLs can't just be tested by annon users

prevent timing attacks on the contact checksum validation

Remove support for passing a filename into civicrm/file.

I can find no evidence this is used & it feels like a security risk, albeit they still need
the path

Remove unused file parameters

security/core#33 - Patch jQuery for CVE-2015-9251

See https://github.com/jquery/jquery/issues/2432#issuecomment-403761229
This will no longer be needed after upgrading to jQuery 3.x.

(NFC) Cleanup new docblocks

Follow-up security/core#25 - Consistently change interface

The previous commit 4c1e702f96403bdc84b6900027d1be61ea601321 expanded the
signature of `fillWithSql()` to accept a third argument, but it wasn't
consistent about whether the third argument was optional or required.

This makes it consistently optional (default `[]`).

Resolve security/core#25 Escape use of cacheKey to prevent SQLI when populating the prevNextCache

Security #25 Update Redis implementation to match function sig of interface function

security/core#16 - Smarty - Fix XSS in crmMoney plugin

This fixes an XSS in the crmMoney smarty plugin by checking the
currency against the currency list and adds some basic tests.

Fixes security/core#16

security/core#28 - CRM_Contact - Use uniqid() for table alias

security/core#28 - CRM_Contact - Fix SQL injection in group/tag search

This fixes various SQL injections in CRM_Contact_BAO_Query in the group
and tag search code. CRM_Contact_BAO_Query is used by the API and some
other core features such as the advanced contact search.

For CRM_Contact_BAO_Query::tag, the lack of input validation meant that
API syntax that would typically not work for other parameters works for
tag search, so the fix attempts to not break backwards-compatibility
for API calls like Contact.get tag="1, 2" (i.e. using a comma-separated
list with spaces).

security/core#32 Fix Reflected XSS in Logging Detail report

Also Purify the output of the frozen entity reference and that of a select2 output as well

Resolve #9 by purifying label of entity reference values

Merge pull request #13641 from eileenmcnaughton/reg

dev/core#737 - SMS not sent if 'Send Immediately' option is chosen on

dev/core#737 - SMS not sent if 'Send Immediately' option is chosen on the last screen

Set version to 5.10.2

Merge pull request #13598 from seamuslee001/5.10

Add in release notes for 5.10.2

Update 5.10.2.md

Update 5.10.2.md

Minor copy-edits:
* Punctuation to match other point-release docs
* Use consistent reverse-alpha in credits
* Add some more authors+reviewers from Github

Merge pull request #13597 from eileenmcnaughton/acl_reg510

dev/core#721 Fix regression on refreshing group_contact cache before checking acls

Add in release notes for 5.10.2

Update release notes as per Eileen's comment

Add in notes on merge of dev/core#715 fix

Merge pull request #13595 from mlutfy/5.10-case-close-fatal

dev/core#681 Fatal Error on submitting "Change Case Status" activity form

Fix regression on refreshing group_contact cache before checking acls

We seem to be checking if the cache needs a rebuild and IF SO doing 2 actions
1) rebuilding it
2) permitting access to contacts related to it

When really it should do only 1) above - this patch changes as such

This seems to be whackamole off https://github.com/civicrm/civicrm-core/pull/12344
going too far one way & https://github.com/civicrm/civicrm-core/pull/13448
fixing but adding this new variant

dev/core#681 - Fatal Error on submitting "Change Case Status" activity form

Merge pull request #13590 from eileenmcnaughton/rel_del510

dev/core#715 - Fix delete action on RelationshipType form

dev/core#715 - Fix delete action on RelationshipType form

Set version to 5.10.1

Merge pull request #13574 from seamuslee001/5_10_1_release_notes

Release notes for 5.10.1 release

Merge pull request #13570 from eileenmcnaughton/cc_510

Fix regression whereby making receive_date required breaks back office cc

Release notes for 5.10.1 release

Fix regression whereby making receive_date required breaks back office cc

Regression from https://lab.civicrm.org/dev/core/issues/680
led to https://civicrm.stackexchange.com/questions/28410/unable-to-take-credit-card-payment-after-civi-update

Update 5.10.0.md

Set version to 5.10.0

Merge pull request #13494 from agh1/5.10.0-releasenotes

5.10.0 release notes

5.10.0 release notes: late changes, credits, and last-minute fixes

Add release-notes/5.9.1.md

5.10.0 release notes: bulk of edits

* pulling out misc and organizing lines with gitlab issue numbers

* linking to gitlab issues

* update lines with gitlab issues to have the gitlab titles

* progress

* second pass

* finished first pass of notes

* deleting rows related to merge

* reorganizing sections

5.10.0 release notes: added boilerplate

5.10.0 release notes: raw from script

Merge pull request #13536 from eileenmcnaughton/export_sc

dev/core#651 Fix group by on export soft credits (possible recent regression, clearly wrong).

dev/core#651 Fix group by on export soft credits (possible recent regression, clearly wrong).

As pointed out by the reporter the group by is being calculated as if it were a string but it's an array, this fixes.

This code has been touched recently so it might be a recent regression. 5.10 is the first release in a long time where
export is working in some mysql / output configs after a big refactor to get rid of wide temp tables

Merge pull request #13537 from eileenmcnaughton/cont_comp

dev/core#680 make receive_date required on backoffice contribution form

dev/core#680 make receive_date required on backoffice contribution form
and api

Discussion on https://lab.civicrm.org/dev/core/issues/680#note_13205

Merge pull request #13533 from eileenmcnaughton/prev_next

Prev next

Disable full group by mode whe groupContacts is TRUE

This prevents an error when using the cache and allows us to move
past this without untangling the messy way other tables are joined back in
for now.

Note it became necessary due to query changes off the cache but the query is no
different in accuracy

dev/core#695 - Make custom searches slightly less fragile

dev/core#679 fix loss of search results when including tags or groups.

The bug as described was a bit tricksy to replicate as it is inconsistent and the
code is not actually outputting the tags/ groups. I think these are pre-existing issues

I was able to replicate by having 2 search profiles - one with only tags & one one with only groups & switching back & and force on output -  once I replicated I found that there was a regression due to

https://github.com/eileenmcnaughton/civicrm-core/commit/2ca46d4d5a8cd15929ac0939ca2bb380a3de027e#diff-e54381bfdf51e31cab376c71ca0d66ffR4967

whereby the groupBy had been dropped, causing the results to be squashed into a single row

Merge pull request #13524 from eileenmcnaughton/search_rc

Revert fix causing unreleased regression

Revert "Assign the translated formValues to itself"

This reverts commit e8ef090642f0ff5639166b847a31f4e50eec3dd6.

Revert "Rewrite testHiddenSmartGroup"

This reverts commit 7810fa53a7f5d8be82ebda7fde122d0fd349d358.

Merge pull request #13478 from pradpnayak/eventRegression

dev/core/issues/653, fixed regression on creating new event using event template

dev/core/issues/653, fixed regression on creating new event using event template

Use core function to over-ride values

Merge pull request #13451 from eileenmcnaughton/everyone_510

(dev/core#660) Address regression whereby Anonymous users can no longer register for an event if they have ACLs to see a contact

Remove foreign key on civicrm_acl_contact_id.user_id.

This won't actually remove it from installs - we need to address that separately via ensuring people can and do run
the System.updateIndices api call but it removes it from new installs and from
tests, hence the test should pass

Fix mishandling / loss of check_permission flag

Add test to demonstrate fatal error when accessing permitted users that are cached using the acl_cache.

This has arisen during investigation of a possible regression - it turns out that if you give the 'everyone' group
access to a contact using ACLs (or hooks I believe) they get a fatal error on any attempt at event or other registration.

The issue is that when attempting to check for duplicates the call is made using check_permission. This in itself is a possible
regression as the CRM_Dedupe_Finder::dupesByParams function now drops the check_permission key when it is equal to 0 from

https://github.com/civicrm/civicrm-core/commit/4f33e78b901fb7cdb38a3026f88b59a2f9fd2c68

So we have an issue that
1) we are now applying check_permission when doing a dupe_check from front end forms - this probably is resulting in 5.9
sites getting too many duplicates are they would always be null for anon users
2) if we DO do a permissions check when an acl or hook has been used to give anon users permission to access
contacts then they will get a fatal error. This is because it sets contact_id to 0 and attempts to insert it into the
acl_contact_cache.

I think we need to either remove the array_filter line that we think we may not need per code comments
or add specific handling for the check_permission flag

AND drop the foreign key constraint on the civicm_acl_contact_cache table. This means they will
no longer be removed when a contact is deleted but this is a clean up issue rather than one with
functionaly implications & we *should* have some form of cleanup in play on that table. In addition,
removing the constraint will reduce write contention

Merge pull request #13448 from eileenmcnaughton/everyone_510

Fix unreleased regression on building GroupContact clause

Merge pull request #13449 from colemanw/caseDateSearch

Fix broken case activity date filter

Fix unreleased regression whereby acls are skipped for groups

Fix broken case activity date filter

Add unit test to cover granting everyone' group permission to access a group

Merge pull request #13445 from seamuslee001/dev-656

(dev/core#656) unreleased regression - attendee report generates unde…

(dev/core#656) unreleased regression - attendee report generates undefined property notice

Merge pull request #13429 from seamuslee001/5.10

Port Test fixes to 5.10

(NFC) Ensure that when loading in the test data it is done with UTF8 encoding

(dev/core#647) Fix up Test Class names and file names to ensure all test classes are run by Jenkins

(dev/core#647) Fix Up Contact Selector Test by changing class name to get test to run and make changes following code changes that affect clauses and calling get rows

CRM_Contact_SelectorTest - Fix escaping

(dev/core#217) CRM_Contact_SelectorTest - Remove stale/unnecessary assertion

The table `civicrm_prevnext_cache` includes three columns (`entity_id1`,
`entity_id2`, `entity_table`).  These columns have some use-cases (e.g.  for
deduping) and some historical value, but the only one needed for
caching search-results is `entity_id1`.

dev/core#217 introduced an interface `CRM_Core_PrevNextCache_Interface` for
caching search-results.  This interface only passes through a list of CID's
(effectively `entity_id1`); because we don't need `entity_id2` and
`entity_table`, it makes no provisions for passing them through, and they're
not saved.  This simplifies the interface and makes it more realistic to
implement alternative prevnext storage mechanisms.

Merge pull request #13414 from eileenmcnaughton/count

Fix php 7.2 countable warning

Fix php 7.2 countable warning

per https://lab.civicrm.org/dev/core/issues/406#note_12393
Warning: count(): Parameter must be an array or an object that implements Countable in CRM_Event_Form_Participant->submit() (line 1722 of .../all/modules/civicrm/CRM/Event/Form/Participant.php).

Set version to 5.10.beta1

Merge pull request #13389 from civicrm/5.9

5.9

Merge pull request #13388 from totten/5.9-msg-tweak

Five Nine - Revise upgrade notice about Money/Int/Float fields

FineNine - Revise upgrade notice to be less alarming

Based on discussion at https://github.com/civicrm/civicrm-core/pull/13384/files#r244890998

(NFC) FiveNine.php - Whitespace

Merge pull request #13386 from civicrm/5.9

5.9

Merge pull request #13387 from seamuslee001/release_notes_update

Update 5.9 Release notes for final fixes

Merge pull request #13385 from eileenmcnaughton/5.9

dev/core#619 fix regression on Address contact-reference fields not rendering results

Update 5.9 Release notes for final fixes