Merge pull request #12641 from mfb/reply-forwarding

CiviMail: Fix reply forwarding for mailers with From: and Return-path: limitations

Merge pull request #12337 from lcdservices/dev-core-190

dev/core#190 / CRM-21643 ensure custom data multi record profile returns correct …

Merge pull request #13441 from greenpeace-cee/fix-schema-parsing

CRM/Logging - Fix various bugs in schema parsing

Merge pull request #13682 from mfb/utf8mb4-check-exception

Force utf8mb4 query to throw exception as the check expects

Merge pull request #13687 from eileenmcnaughton/activity_clean

Minor code cleanup

Merge pull request #13634 from eileenmcnaughton/fin_type_speed

[NFC, test class] formatting, remove unused variables

Minor code cleanup

This is a reviewer's commit of https://github.com/civicrm/civicrm-core/pull/13672

I pulled out some lines I've checked & agree with to simplify that commit

Merge pull request #13644 from mfb/temporary-tables

Refactor CRM_Utils_SQL_TempTable::build()->createWithQuery($sql) interface to support MEMORY tabls

CRM/Logging - Improve enum handling in schema diff

Instead of storing permitted enum values in the LENGTH array key
when extracting column information, this adds a separate ENUM_VALUES
key. When schema differences are calculated for enum columns, this
value triggers a change when new permitted values are added.

CRM/Logging - Fix various bugs in schema parsing

This fixes a couple of bugs in the schema parsing methods used by
Civi's extended logging feature:

- CRM_Logging_Schema::getIndexesForTable only queried for constraints,
  not returning any indexes.
- CRM_Logging_Schema::getIndexesForTable returned an array in the form
  [0 => ['constraint_name' => 'foo']] rather than the expected array
  of index names (i.e. ['foo']).
- CRM_Logging_Schema::columnSpecsOf contained an off-by-one error and
  a wrongly used substr parameter causing column lengths to include
  surrounding parenthesis. This would result in a "varchar(42)"
  column returning a length of "(42)" instead of "42".

Merge pull request #13685 from seamuslee001/tests_746

dev/core#746 Add in unit tests to ensure that where clause is as is w…

Merge pull request #13684 from civicrm/5.11

5.11

dev/core#746 Add in unit tests to ensure that where clause is as is when multiple smart group where clauses are used in search builder

Add in a check of from clauses too

Merge pull request #13683 from seamuslee001/5_11_5_10_4_Release_Notes

Add in 5.10.4 Release notes

Merge pull request #13669 from eileenmcnaughton/payment_format

Payment notification formatting, move greeting into table

Add in 5.10.4 Release notes

Merge pull request #13675 from greenpeace-cee/fix-logtable-exceptions

CRM/Logging - Fix log table exceptions

Merge pull request #13673 from eileenmcnaughton/511geocode

Remove tests that no longer work due to dead service

Merge pull request #13678 from MegaphoneJon/reporting-10-test

test for reporting#10

Merge pull request #13663 from seamuslee001/lab_core_747

Hotfix for dev/core#747 To fix generation of contact image urls

Force utf8mb4 query to throw exception as the check expects.

Fixes dev/core#749

test for reporting#10

Extract checking of filename into own function and add tests

Merge pull request #13671 from MegaphoneJon/reporting-11

reporting-11 - fix Soft Credit report with full group by

Merge pull request #13676 from civicrm/5.11

5.11 to master

Merge pull request #13670 from MegaphoneJon/reporting-10-rc

reporting#10 - fix pagination on Contribution Detail report

Merge pull request #13364 from mattwire/activitytype_pseudoconstant

REF Convert deprecated functions to buildOptions for case

CRM/Logging - Fix log table exceptions

This fixes a bug that caused columns that were excluded from being
considered "log-worthy" changes to be logged anyway. That happened
because columns were extracted with backticks but compared to strings
without backticks. To preserve compatibility with exceptions set by
alterLogTables which could contain backticks, the comparison is
performed against the column name with and without backticks.

Remove tests that no longer work due to dead service

reporting-11 - fix Soft Credit report with full group by

reporting#10 - fix pagination on Contribution Detail report

Replace deprecated activityType/activityStatus functions with buildOptions for cases

Merge pull request #13649 from eileenmcnaughton/payment

Switch additional payment form to use Payment.sendconfirmation api

Payment notification formatting, move greeting into table

CRM_Core_Page_File - Only delivers directly under the customFileUploadDir

CRM_Core_Page_File - Fix warning when using filename mode

The idea here is that `id+eid+fcs` and `filename` are two separate modes.
In `filename` mode, you don't need warnings about the missing `fcs`.

CRM_Core_Page_File - More consistent capitalization/prose

Merge pull request #13662 from seamuslee001/hotfix_746

Deploy hotfix to fix dev/core#746 until tests can be written for fix

Deploy hotfix to fix dev/core#746 until tests can be written for fix

Fix GroupContactCacheTest

Hotfix for dev/core#747 To fix generation of contact image urls

Merge pull request #13661 from eileenmcnaughton/master

5.11 to master

Merge branch '5.11' of https://github.com/civicrm/civicrm-core

Merge pull request #13660 from seamuslee001/5.11

5.11 - merge in security

Switch Additional Payment to call Payment.send_confirmation api, strip out text

Switch to greeting for better, more consistent results in tpl, remove print statement

Add test for receipt output (test written to pre-change output)

release-notes/5.10.3.md - Update "Feedback" to be... closer to reality wrt SA's

release-notes/5.10.3.md - TOC should match actual headings

Add in 5.10.3 Security Release Notes

Fix file e-notice by using the correct url variables

Fix variables to match image file hash generation

CRM_Profile_Form - Add fcs for download link on custom field

(REF) Clearer docblocks and file names

Fix multiple issues with file URLs. Use clearer variables and docblocks to reduce confusion.

Try and use the correct variable for file id in custom field uploads and use the standard checksum timout as well

generateFileHash() - If we can't generate a secure, then don't generate any token

Falling back to a constant negates any security benefit of using a hash.

IMHO, the edge-case where `CIVICRM_SITE_KEY` is missing should be
obscure/rare and signifies broader problems for the deployment.  It needs to
be corrected.  If you're worried that having an error-symptom here is too
obscure, then let's add a more prominent error-message via
`CRM_Utils_Check`.

NOTE: There is one pre-existing case in core where (in absence of a key) it
procedes with a constant in lieu of a `CIVICRM_SITE_KEY` .  Specifically,
`CRM_Core_Error::generateLogFileHash()`.  That is not a good example to
follow because it is qualitiatively different:

* In `generateLogFileHash`(), `CIVICRM_SITE_KEY` functions as one of
  multiple redundant security mechanisms -- e.g.  even if
  `CIVICRM_SITE_KEY` is missing, the log file remains hard-to-access because
  (1) the DSN is part of the hash and (2) the httpd protects `ConfigAndLog`.
  (Contrast: The file-hash-code is not *redundant* in the same way.)

* In the context of logging, raising any error (even if it's real error
  condition) can provoke a weird loop (because then that error needs to be
  logged).  The log needs to avoid such loops.  (Contrast:
  `generateFileHash()` is part of the normal post-boot application logic, so
  it's free to register errors normally.)

generateFileHash() and validateFileHash() should be colocated

The two functions (`generateFileHash()` and `validateFileHash()`) are
tightly-coupled.  Most changes to one would require a matching change in the
other.  So they should be parallel.

It'd be OK to say "the hash formula is a general utility for any party using
file APIs" (so put `generateFileHash()` and `validateFileHash()` in `CRM_Core_BAO_File`).

It'd be OK to say "the hash formula is specific to the end-point/page which
serves files" (so put `generateFileHash()` and `validateFileHash()` in
`CRM_Core_Page_File`).

The former feels a bit more accurate, so I pushed it toward that.

Switch to Sha256 and add in a ttl

Further WHIP fixing hmac implementation now need to get it generating consistant hashes

Remove debugging

Block access if no Hash is supplied

security/core#26 Add in a generated Hash to download files so that URLs can't just be tested by annon users

prevent timing attacks on the contact checksum validation

Remove support for passing a filename into civicrm/file.

I can find no evidence this is used & it feels like a security risk, albeit they still need
the path

Remove unused file parameters

security/core#33 - Patch jQuery for CVE-2015-9251

See https://github.com/jquery/jquery/issues/2432#issuecomment-403761229
This will no longer be needed after upgrading to jQuery 3.x.

(NFC) Cleanup new docblocks

Follow-up security/core#25 - Consistently change interface

The previous commit 4c1e702f96403bdc84b6900027d1be61ea601321 expanded the
signature of `fillWithSql()` to accept a third argument, but it wasn't
consistent about whether the third argument was optional or required.

This makes it consistently optional (default `[]`).

Resolve security/core#25 Escape use of cacheKey to prevent SQLI when populating the prevNextCache

Security #25 Update Redis implementation to match function sig of interface function

security/core#16 - Smarty - Fix XSS in crmMoney plugin

This fixes an XSS in the crmMoney smarty plugin by checking the
currency against the currency list and adds some basic tests.

Fixes security/core#16

security/core#28 - CRM_Contact - Use uniqid() for table alias

security/core#28 - CRM_Contact - Fix SQL injection in group/tag search

This fixes various SQL injections in CRM_Contact_BAO_Query in the group
and tag search code. CRM_Contact_BAO_Query is used by the API and some
other core features such as the advanced contact search.

For CRM_Contact_BAO_Query::tag, the lack of input validation meant that
API syntax that would typically not work for other parameters works for
tag search, so the fix attempts to not break backwards-compatibility
for API calls like Contact.get tag="1, 2" (i.e. using a comma-separated
list with spaces).

security/core#32 Fix Reflected XSS in Logging Detail report

Also Purify the output of the frozen entity reference and that of a select2 output as well

Resolve #9 by purifying label of entity reference values

Merge pull request #13659 from francescbassas/patch-16

/dev/core#716 - Add decimals in Contribution Amount on Repeat Contrib…

Merge pull request #13650 from eileenmcnaughton/order_by

[REF] minor code cleanup - do not build order var just to hurt brains

/dev/core#716 - Add decimals in Contribution Amount on Repeat Contributions Report

Provide API for creating TEMPORARY MEMORY tables.

Merge pull request #13656 from eileenmcnaughton/search_query

[REF] minor cleanup of groupBy definition.

[REF] minor cleanup of groupBy definition.

If you read the code the groupBy statement creation can go with 'its friends'
and the groupBy in the removed line is overwritten. I'll extract this next ....

Merge pull request #13655 from eileenmcnaughton/payment_receipt

Update Payment Notification to use greeting, remove text to 'Please print this confirmation for your records.

Update Payment Notification to use greeting, to not encourage printing

These changes are consistent with other changes. I also switched the parameters for when to include
extra detail to deprecate contributeMode

[REF] minor code cleanup - do not build order var just to hurt brains

The order var is basically orderBy prepended by Order by - which is then stripped.

Just don't

Merge pull request #13610 from eileenmcnaughton/payment_conf2

Payment.sendconfirmation api - add further tpl variables.

Merge pull request #13642 from eileenmcnaughton/atest

Authorizenet test - reduce chance of intermittent fails

[NFC, test class] formatting, remove unused variables

Authorizenet test - reduce chance of intermittent fails

I just saw this fail https://developer.authorize.net/api/reference/responseCodes.html?code=E00012
It seems we've already added uniqueness but we still hit a fail. Hopefully the timestamp
nature of uniqid + adding an extra degree of randomness will eliminate.

Also removed some deprecated params

Update status comments

Payment.sendconfirmation - add tpl var for fully paid

Add thousandseparator variant to test

Add refund relevant fields & tests to payment.sendconfirmation

Merge pull request #13620 from eileenmcnaughton/signuptype

[unused code cleanup] Remove unused 'signupType' url support

Merge pull request #13609 from eileenmcnaughton/payment_conf

Payment.sendconfirmation api - add further tpl variables.

Merge pull request #13534 from yashodha/dev-696

(dev/core#696) Changes to copied event phone and email reflects in or…

Merge pull request #13639 from civicrm/5.11

5.11

Merge pull request #13636 from eileenmcnaughton/strtolower

Remove another instance of 'lower'

Merge pull request #13637 from jitendrapurohit/core737

dev/core#737 - SMS not sent if 'Send Immediately' option is chosen on…

dev/core#737 - SMS not sent if 'Send Immediately' option is chosen on the last screen

Remove another instance of 'lower'

We have removed almost all of these from the code base due to the performance cost
combined with the lack of any upside. Just found another

Merge pull request #13630 from eileenmcnaughton/goodbye_mode_and_median_hello_speed

dev/core#720 Remove median & mode stats from contribution summary in order to improve performance

Merge pull request #13629 from eileenmcnaughton/mailing_job_test_use

[Test changes] Mailing job test use