Merge pull request #13666 from eileenmcnaughton/case_fix

dev/core#739 Fix case detail report breaking when sorted by case type.

Merge pull request #13658 from mfb/temp-force-utf8

Phase out CIVICRM_TEMP_FORCE_UTF8

Merge pull request #13643 from eileenmcnaughton/recur

[REF] minor refactor around retrieving processor id for recur

Merge pull request #13694 from eileenmcnaughton/extract_refund

Extract record refund function

Extract record refund function

Merge pull request #13582 from colemanw/kam

Migrate KAM smartmenus to core

Merge pull request #13693 from civicrm/revert-13691-record_extract

Revert "[REF] Extract record refund function"

Revert "[REF] Extract record refund function"

Merge pull request #13691 from eileenmcnaughton/record_extract

[REF] Extract record refund function

Extract record refund function

Merge pull request #13289 from mfb/pear-mail

Move pear/mail from packages to composer.json

Merge pull request #13340 from mfb/street-number-max

Do not attempt to store out-of-range street number

Merge pull request #13668 from eileenmcnaughton/extract_order

[REF] Extract getSearchSQL from getSearchQuery.

Add test case for parsing out-of-range street number.

Merge pull request #13688 from mfb/export-temp-table

Use CRM_Utils_SQL_TempTable to drop and create table.

Do not attempt to store out-of-range street number.

Merge pull request #13276 from mfb/trash-change-log

Record change log entry when contact is moved to or restored from trash

Merge pull request #13346 from mfb/geocode-job-db-error

geocode job: Do not return more messages than can fit in the log data column

Deprecate CIVICRM_TEMP_FORCE_UTF8.

Merge pull request #13578 from mattwire/entityform_view_towards

Towards supporting EntityForm for 'View Action'

Merge pull request #13588 from jitendrapurohit/dev-631

dev/core#631 - Enable 'add new' by default on merge screen

Merge pull request #13657 from MegaphoneJon/deprecateBasicContactFields

reporting#9: parity between getContactFields and getBasicContactFields

Merge pull request #13654 from seamuslee001/lab_core_742

dev/core#742 Fix XML parasing by swapping & for ,

Merge pull request #13042 from jackrabbithanna/dev-core-475

only set custom field to null if it is really null, not string 'null'

Use CRM_Utils_SQL_TempTable to drop and create table.

Merge pull request #12641 from mfb/reply-forwarding

CiviMail: Fix reply forwarding for mailers with From: and Return-path: limitations

Merge pull request #12337 from lcdservices/dev-core-190

dev/core#190 / CRM-21643 ensure custom data multi record profile returns correct …

Merge pull request #13441 from greenpeace-cee/fix-schema-parsing

CRM/Logging - Fix various bugs in schema parsing

Merge pull request #13682 from mfb/utf8mb4-check-exception

Force utf8mb4 query to throw exception as the check expects

Merge pull request #13687 from eileenmcnaughton/activity_clean

Minor code cleanup

Merge pull request #13634 from eileenmcnaughton/fin_type_speed

[NFC, test class] formatting, remove unused variables

Minor code cleanup

This is a reviewer's commit of https://github.com/civicrm/civicrm-core/pull/13672

I pulled out some lines I've checked & agree with to simplify that commit

Merge pull request #13644 from mfb/temporary-tables

Refactor CRM_Utils_SQL_TempTable::build()->createWithQuery($sql) interface to support MEMORY tabls

CRM/Logging - Improve enum handling in schema diff

Instead of storing permitted enum values in the LENGTH array key
when extracting column information, this adds a separate ENUM_VALUES
key. When schema differences are calculated for enum columns, this
value triggers a change when new permitted values are added.

CRM/Logging - Fix various bugs in schema parsing

This fixes a couple of bugs in the schema parsing methods used by
Civi's extended logging feature:

- CRM_Logging_Schema::getIndexesForTable only queried for constraints,
  not returning any indexes.
- CRM_Logging_Schema::getIndexesForTable returned an array in the form
  [0 => ['constraint_name' => 'foo']] rather than the expected array
  of index names (i.e. ['foo']).
- CRM_Logging_Schema::columnSpecsOf contained an off-by-one error and
  a wrongly used substr parameter causing column lengths to include
  surrounding parenthesis. This would result in a "varchar(42)"
  column returning a length of "(42)" instead of "42".

Merge pull request #13685 from seamuslee001/tests_746

dev/core#746 Add in unit tests to ensure that where clause is as is w…

Merge pull request #13684 from civicrm/5.11

5.11

dev/core#746 Add in unit tests to ensure that where clause is as is when multiple smart group where clauses are used in search builder

Add in a check of from clauses too

Merge pull request #13683 from seamuslee001/5_11_5_10_4_Release_Notes

Add in 5.10.4 Release notes

Merge pull request #13669 from eileenmcnaughton/payment_format

Payment notification formatting, move greeting into table

Add in 5.10.4 Release notes

Merge pull request #13675 from greenpeace-cee/fix-logtable-exceptions

CRM/Logging - Fix log table exceptions

Merge pull request #13673 from eileenmcnaughton/511geocode

Remove tests that no longer work due to dead service

Merge pull request #13678 from MegaphoneJon/reporting-10-test

test for reporting#10

Merge pull request #13663 from seamuslee001/lab_core_747

Hotfix for dev/core#747 To fix generation of contact image urls

Force utf8mb4 query to throw exception as the check expects.

Fixes dev/core#749

test for reporting#10

Extract checking of filename into own function and add tests

Extract getSearchSQL from getSearchQuery.

Change one instance to call it directly. Next I'll deprecate it & change all instances hit by the tests

Merge pull request #13671 from MegaphoneJon/reporting-11

reporting-11 - fix Soft Credit report with full group by

Merge pull request #13676 from civicrm/5.11

5.11 to master

Merge pull request #13670 from MegaphoneJon/reporting-10-rc

reporting#10 - fix pagination on Contribution Detail report

Merge pull request #13364 from mattwire/activitytype_pseudoconstant

REF Convert deprecated functions to buildOptions for case

CRM/Logging - Fix log table exceptions

This fixes a bug that caused columns that were excluded from being
considered "log-worthy" changes to be logged anyway. That happened
because columns were extracted with backticks but compared to strings
without backticks. To preserve compatibility with exceptions set by
alterLogTables which could contain backticks, the comparison is
performed against the column name with and without backticks.

Remove tests that no longer work due to dead service

reporting-11 - fix Soft Credit report with full group by

reporting#10 - fix pagination on Contribution Detail report

Replace deprecated activityType/activityStatus functions with buildOptions for cases

Merge pull request #13649 from eileenmcnaughton/payment

Switch additional payment form to use Payment.sendconfirmation api

Payment notification formatting, move greeting into table

CRM_Core_Page_File - Only delivers directly under the customFileUploadDir

CRM_Core_Page_File - Fix warning when using filename mode

The idea here is that `id+eid+fcs` and `filename` are two separate modes.
In `filename` mode, you don't need warnings about the missing `fcs`.

CRM_Core_Page_File - More consistent capitalization/prose

Merge pull request #13662 from seamuslee001/hotfix_746

Deploy hotfix to fix dev/core#746 until tests can be written for fix

Fix case detail report breaking when sorted by case type.

I removed the hacks to cope with poor metadata declaration & fixed the declaration - this should stop
breaking now. Test added

Deploy hotfix to fix dev/core#746 until tests can be written for fix

Fix GroupContactCacheTest

[NFC] code reformatting - use short array syntax

Hotfix for dev/core#747 To fix generation of contact image urls

Merge pull request #13661 from eileenmcnaughton/master

5.11 to master

Merge branch '5.11' of https://github.com/civicrm/civicrm-core

Merge pull request #13660 from seamuslee001/5.11

5.11 - merge in security

Switch Additional Payment to call Payment.send_confirmation api, strip out text

Switch to greeting for better, more consistent results in tpl, remove print statement

Add test for receipt output (test written to pre-change output)

release-notes/5.10.3.md - Update "Feedback" to be... closer to reality wrt SA's

release-notes/5.10.3.md - TOC should match actual headings

Add in 5.10.3 Security Release Notes

Fix file e-notice by using the correct url variables

Fix variables to match image file hash generation

CRM_Profile_Form - Add fcs for download link on custom field

(REF) Clearer docblocks and file names

Fix multiple issues with file URLs. Use clearer variables and docblocks to reduce confusion.

Try and use the correct variable for file id in custom field uploads and use the standard checksum timout as well

generateFileHash() - If we can't generate a secure, then don't generate any token

Falling back to a constant negates any security benefit of using a hash.

IMHO, the edge-case where `CIVICRM_SITE_KEY` is missing should be
obscure/rare and signifies broader problems for the deployment.  It needs to
be corrected.  If you're worried that having an error-symptom here is too
obscure, then let's add a more prominent error-message via
`CRM_Utils_Check`.

NOTE: There is one pre-existing case in core where (in absence of a key) it
procedes with a constant in lieu of a `CIVICRM_SITE_KEY` .  Specifically,
`CRM_Core_Error::generateLogFileHash()`.  That is not a good example to
follow because it is qualitiatively different:

* In `generateLogFileHash`(), `CIVICRM_SITE_KEY` functions as one of
  multiple redundant security mechanisms -- e.g.  even if
  `CIVICRM_SITE_KEY` is missing, the log file remains hard-to-access because
  (1) the DSN is part of the hash and (2) the httpd protects `ConfigAndLog`.
  (Contrast: The file-hash-code is not *redundant* in the same way.)

* In the context of logging, raising any error (even if it's real error
  condition) can provoke a weird loop (because then that error needs to be
  logged).  The log needs to avoid such loops.  (Contrast:
  `generateFileHash()` is part of the normal post-boot application logic, so
  it's free to register errors normally.)

generateFileHash() and validateFileHash() should be colocated

The two functions (`generateFileHash()` and `validateFileHash()`) are
tightly-coupled.  Most changes to one would require a matching change in the
other.  So they should be parallel.

It'd be OK to say "the hash formula is a general utility for any party using
file APIs" (so put `generateFileHash()` and `validateFileHash()` in `CRM_Core_BAO_File`).

It'd be OK to say "the hash formula is specific to the end-point/page which
serves files" (so put `generateFileHash()` and `validateFileHash()` in
`CRM_Core_Page_File`).

The former feels a bit more accurate, so I pushed it toward that.

Switch to Sha256 and add in a ttl

Further WHIP fixing hmac implementation now need to get it generating consistant hashes

Remove debugging

Block access if no Hash is supplied

security/core#26 Add in a generated Hash to download files so that URLs can't just be tested by annon users

prevent timing attacks on the contact checksum validation

Remove support for passing a filename into civicrm/file.

I can find no evidence this is used & it feels like a security risk, albeit they still need
the path

Remove unused file parameters

security/core#33 - Patch jQuery for CVE-2015-9251

See https://github.com/jquery/jquery/issues/2432#issuecomment-403761229
This will no longer be needed after upgrading to jQuery 3.x.

(NFC) Cleanup new docblocks

Follow-up security/core#25 - Consistently change interface

The previous commit 4c1e702f96403bdc84b6900027d1be61ea601321 expanded the
signature of `fillWithSql()` to accept a third argument, but it wasn't
consistent about whether the third argument was optional or required.

This makes it consistently optional (default `[]`).

Resolve security/core#25 Escape use of cacheKey to prevent SQLI when populating the prevNextCache

Security #25 Update Redis implementation to match function sig of interface function

security/core#16 - Smarty - Fix XSS in crmMoney plugin

This fixes an XSS in the crmMoney smarty plugin by checking the
currency against the currency list and adds some basic tests.

Fixes security/core#16

security/core#28 - CRM_Contact - Use uniqid() for table alias

security/core#28 - CRM_Contact - Fix SQL injection in group/tag search

This fixes various SQL injections in CRM_Contact_BAO_Query in the group
and tag search code. CRM_Contact_BAO_Query is used by the API and some
other core features such as the advanced contact search.

For CRM_Contact_BAO_Query::tag, the lack of input validation meant that
API syntax that would typically not work for other parameters works for
tag search, so the fix attempts to not break backwards-compatibility
for API calls like Contact.get tag="1, 2" (i.e. using a comma-separated
list with spaces).

security/core#32 Fix Reflected XSS in Logging Detail report

Also Purify the output of the frozen entity reference and that of a select2 output as well