Merge pull request #13649 from eileenmcnaughton/payment

Switch additional payment form to use Payment.sendconfirmation api

Merge pull request #13661 from eileenmcnaughton/master

5.11 to master

Merge branch '5.11' of https://github.com/civicrm/civicrm-core

Merge pull request #13660 from seamuslee001/5.11

5.11 - merge in security

Switch Additional Payment to call Payment.send_confirmation api, strip out text

Switch to greeting for better, more consistent results in tpl, remove print statement

Add test for receipt output (test written to pre-change output)

release-notes/5.10.3.md - Update "Feedback" to be... closer to reality wrt SA's

release-notes/5.10.3.md - TOC should match actual headings

Add in 5.10.3 Security Release Notes

Fix file e-notice by using the correct url variables

Fix variables to match image file hash generation

CRM_Profile_Form - Add fcs for download link on custom field

(REF) Clearer docblocks and file names

Fix multiple issues with file URLs. Use clearer variables and docblocks to reduce confusion.

Try and use the correct variable for file id in custom field uploads and use the standard checksum timout as well

generateFileHash() - If we can't generate a secure, then don't generate any token

Falling back to a constant negates any security benefit of using a hash.

IMHO, the edge-case where `CIVICRM_SITE_KEY` is missing should be
obscure/rare and signifies broader problems for the deployment.  It needs to
be corrected.  If you're worried that having an error-symptom here is too
obscure, then let's add a more prominent error-message via
`CRM_Utils_Check`.

NOTE: There is one pre-existing case in core where (in absence of a key) it
procedes with a constant in lieu of a `CIVICRM_SITE_KEY` .  Specifically,
`CRM_Core_Error::generateLogFileHash()`.  That is not a good example to
follow because it is qualitiatively different:

* In `generateLogFileHash`(), `CIVICRM_SITE_KEY` functions as one of
  multiple redundant security mechanisms -- e.g.  even if
  `CIVICRM_SITE_KEY` is missing, the log file remains hard-to-access because
  (1) the DSN is part of the hash and (2) the httpd protects `ConfigAndLog`.
  (Contrast: The file-hash-code is not *redundant* in the same way.)

* In the context of logging, raising any error (even if it's real error
  condition) can provoke a weird loop (because then that error needs to be
  logged).  The log needs to avoid such loops.  (Contrast:
  `generateFileHash()` is part of the normal post-boot application logic, so
  it's free to register errors normally.)

generateFileHash() and validateFileHash() should be colocated

The two functions (`generateFileHash()` and `validateFileHash()`) are
tightly-coupled.  Most changes to one would require a matching change in the
other.  So they should be parallel.

It'd be OK to say "the hash formula is a general utility for any party using
file APIs" (so put `generateFileHash()` and `validateFileHash()` in `CRM_Core_BAO_File`).

It'd be OK to say "the hash formula is specific to the end-point/page which
serves files" (so put `generateFileHash()` and `validateFileHash()` in
`CRM_Core_Page_File`).

The former feels a bit more accurate, so I pushed it toward that.

Switch to Sha256 and add in a ttl

Further WHIP fixing hmac implementation now need to get it generating consistant hashes

Remove debugging

Block access if no Hash is supplied

security/core#26 Add in a generated Hash to download files so that URLs can't just be tested by annon users

prevent timing attacks on the contact checksum validation

Remove support for passing a filename into civicrm/file.

I can find no evidence this is used & it feels like a security risk, albeit they still need
the path

Remove unused file parameters

security/core#33 - Patch jQuery for CVE-2015-9251

See https://github.com/jquery/jquery/issues/2432#issuecomment-403761229
This will no longer be needed after upgrading to jQuery 3.x.

(NFC) Cleanup new docblocks

Follow-up security/core#25 - Consistently change interface

The previous commit 4c1e702f96403bdc84b6900027d1be61ea601321 expanded the
signature of `fillWithSql()` to accept a third argument, but it wasn't
consistent about whether the third argument was optional or required.

This makes it consistently optional (default `[]`).

Resolve security/core#25 Escape use of cacheKey to prevent SQLI when populating the prevNextCache

Security #25 Update Redis implementation to match function sig of interface function

security/core#16 - Smarty - Fix XSS in crmMoney plugin

This fixes an XSS in the crmMoney smarty plugin by checking the
currency against the currency list and adds some basic tests.

Fixes security/core#16

security/core#28 - CRM_Contact - Use uniqid() for table alias

security/core#28 - CRM_Contact - Fix SQL injection in group/tag search

This fixes various SQL injections in CRM_Contact_BAO_Query in the group
and tag search code. CRM_Contact_BAO_Query is used by the API and some
other core features such as the advanced contact search.

For CRM_Contact_BAO_Query::tag, the lack of input validation meant that
API syntax that would typically not work for other parameters works for
tag search, so the fix attempts to not break backwards-compatibility
for API calls like Contact.get tag="1, 2" (i.e. using a comma-separated
list with spaces).

security/core#32 Fix Reflected XSS in Logging Detail report

Also Purify the output of the frozen entity reference and that of a select2 output as well

Resolve #9 by purifying label of entity reference values

Merge pull request #13659 from francescbassas/patch-16

/dev/core#716 - Add decimals in Contribution Amount on Repeat Contrib…

Merge pull request #13650 from eileenmcnaughton/order_by

[REF] minor code cleanup - do not build order var just to hurt brains

/dev/core#716 - Add decimals in Contribution Amount on Repeat Contributions Report

Merge pull request #13656 from eileenmcnaughton/search_query

[REF] minor cleanup of groupBy definition.

[REF] minor cleanup of groupBy definition.

If you read the code the groupBy statement creation can go with 'its friends'
and the groupBy in the removed line is overwritten. I'll extract this next ....

Merge pull request #13655 from eileenmcnaughton/payment_receipt

Update Payment Notification to use greeting, remove text to 'Please print this confirmation for your records.

Update Payment Notification to use greeting, to not encourage printing

These changes are consistent with other changes. I also switched the parameters for when to include
extra detail to deprecate contributeMode

[REF] minor code cleanup - do not build order var just to hurt brains

The order var is basically orderBy prepended by Order by - which is then stripped.

Just don't

Merge pull request #13610 from eileenmcnaughton/payment_conf2

Payment.sendconfirmation api - add further tpl variables.

Merge pull request #13642 from eileenmcnaughton/atest

Authorizenet test - reduce chance of intermittent fails

Authorizenet test - reduce chance of intermittent fails

I just saw this fail https://developer.authorize.net/api/reference/responseCodes.html?code=E00012
It seems we've already added uniqueness but we still hit a fail. Hopefully the timestamp
nature of uniqid + adding an extra degree of randomness will eliminate.

Also removed some deprecated params

Update status comments

Payment.sendconfirmation - add tpl var for fully paid

Add thousandseparator variant to test

Add refund relevant fields & tests to payment.sendconfirmation

Merge pull request #13620 from eileenmcnaughton/signuptype

[unused code cleanup] Remove unused 'signupType' url support

Merge pull request #13609 from eileenmcnaughton/payment_conf

Payment.sendconfirmation api - add further tpl variables.

Merge pull request #13534 from yashodha/dev-696

(dev/core#696) Changes to copied event phone and email reflects in or…

Merge pull request #13639 from civicrm/5.11

5.11

Merge pull request #13636 from eileenmcnaughton/strtolower

Remove another instance of 'lower'

Merge pull request #13637 from jitendrapurohit/core737

dev/core#737 - SMS not sent if 'Send Immediately' option is chosen on…

dev/core#737 - SMS not sent if 'Send Immediately' option is chosen on the last screen

Remove another instance of 'lower'

We have removed almost all of these from the code base due to the performance cost
combined with the lack of any upside. Just found another

Merge pull request #13630 from eileenmcnaughton/goodbye_mode_and_median_hello_speed

dev/core#720 Remove median & mode stats from contribution summary in order to improve performance

Merge pull request #13629 from eileenmcnaughton/mailing_job_test_use

[Test changes] Mailing job test use

Merge pull request #13543 from mlutfy/fixDefaultPDFFormat

Fix html2pdf default PDF format when multiple pdf_format are available.

Merge pull request #13631 from colemanw/entityRefs3

 EntityRef - standardize on PascalCase for entity name and fix minor bug

Merge pull request #13632 from colemanw/CRM_Report_Form_Event

[REF] Remove useless class CRM_Report_Form_Event

Remove multiple currency handling as it seems to make it format worse

Deprecate computeStats off to the one place that still uses it.

We MIGHT have reports calling it so to avoid a fatal we will not remove the function just yet

Remove median & mode stats from contribution summary in order to improve performance

Merge pull request #13579 from mattwire/contributionrecur_metadata

Contribution/ContributionRecur metadata updates for EntityForm

Remove useless class CRM_Report_Form_Event

Use PascalCase with CRM_Core_Form::addEntityRef

Although entityRef fields accept either snake_case or CamelCase, let's be consistent.

EntityRef: Fix caching filter option lists

The filters objects were getting cloned instead of passed by reference,
which prevented loadEntityRefFilterOptions() from saving the list for reuse.

EntityRef - standardize on PascalCase for entity name

Change the call used to generate recipients in unit tests

Passes in scheduled_date (as the 'real' api call would)

Part of this attempted deprecation #13627

Merge pull request #13607 from eileenmcnaughton/cont_summary_extract

dev/core#720 [REF] refactor out components of contributionSummary function

Merge pull request #13628 from colemanw/entityRefs2

Standardize format for entityRef create links

Move output formatting to the relevant functions

Remove duplicate setting of variables

Merge pull request #13624 from eileenmcnaughton/minor_pdf_utl_cleanup

[Code cleanup] Remove unused $stationery_path parameter

Merge pull request #13626 from eileenmcnaughton/cont_summary_extract1

[REF] extract cancelled stats to own function

Standardize format for entityRef create links

Merge pull request #13625 from colemanw/entityRefs

[REF] Move entityRef filters into their respective BAOs

[REF] extract cancelled stats to own function

Remove unused  parameter

Move entityRef filters into their respective BAOs

Merge pull request #13622 from eileenmcnaughton/cont_summary_extract1

[REF] extract basic soft credit stats to separate function

Merge pull request #13621 from eileenmcnaughton/default_wrong_declared

[code cleanup] Default wrong declared

Merge pull request #13619 from eileenmcnaughton/unused_pending_param

[REF] Remove unused function parameter

Merge pull request #13623 from eileenmcnaughton/comment

Remove long block of commented out code from 4 years ago

Merge pull request #13601 from alexymik/patch-1

Always load recaptcha JS over HTTPS

Merge pull request #13499 from mattwire/profilecontact_nocontactid_subtype

If a profile is used to create a contact with a subtype the contact will not have any existing subtypes

Remove long block of commented out code from 4 years ago

[REF] extract basic soft credit stats to separate function

As previously commented this array is never used.

I did a codebase grep on ->defaults & am pretty confident here....

Merge pull request #13618 from eileenmcnaughton/test_info

[Test support] Add extra output info when getsingle fails as this seems to be common  in intermittant fails

Merge pull request #13616 from eileenmcnaughton/cont_summary_extract1

[REF] extract add median to stats

Remove unused 'signupType' url support

The use of this was removed in https://github.com/civicrm/civicrm-core/pull/911
on the basis it didn't work.

This is just cleanup not done then.

(Note we shouldn't comment stuff out we should remove it as a rule)

Remove unused function parameter

The function getContributionParams was created as part of a larger refactoring/
code cleanup effort. One of those goals was to get to a point
where contributions are always created with a pending status and are later
confirmed when a payment is added.

It if only called from one place and TRUE is always passed for
so we no longer need the  parameter in this function, remove it

Add extra output info when getsingle fails as this seems to be common in intermittant fails

Merge pull request #13617 from eileenmcnaughton/no_dead_service_tests

Remove tests that no longer work due to dead service

[REF] extract add median to stats

Remove tests that no longer work due to dead service

Merge pull request #13606 from eileenmcnaughton/profile_perf

Fix (sometimes serious) performance problem on submitting profiles for specified contacts