Merge pull request #13694 from eileenmcnaughton/extract_refund

Extract record refund function

Migrate date field to datepicker on ChangeCaseType form

Extract record refund function

Move assign of currency for entityForm outside of foreach so order of fields don't matter

Merge pull request #13582 from colemanw/kam

Migrate KAM smartmenus to core

Upgrade PHPWord

Patch phpword install to fix global handling of disable libxml entity loader

Fix phpoffice/common as well

Fix & test searchQuery order by to be less dependent on what is selected for search

The pseudoconstant array is built when doing a select - if a field is in
order by but not select it will fail - as in the test.

This is a bit hard to hit outside the test for contribution but makes it more robust`
allowing us to address other bugs & performance issues.

Merge pull request #13693 from civicrm/revert-13691-record_extract

Revert "[REF] Extract record refund function"

Revert "[REF] Extract record refund function"

Merge pull request #13691 from eileenmcnaughton/record_extract

[REF] Extract record refund function

Extract record refund function

Merge pull request #13289 from mfb/pear-mail

Move pear/mail from packages to composer.json

Merge pull request #13340 from mfb/street-number-max

Do not attempt to store out-of-range street number

dev/core#735 Do not include product in search results if site has none

Merge pull request #13668 from eileenmcnaughton/extract_order

[REF] Extract getSearchSQL from getSearchQuery.

Add test case for parsing out-of-range street number.

Merge pull request #13688 from mfb/export-temp-table

Use CRM_Utils_SQL_TempTable to drop and create table.

Do not attempt to store out-of-range street number.

Merge pull request #13276 from mfb/trash-change-log

Record change log entry when contact is moved to or restored from trash

Merge pull request #13346 from mfb/geocode-job-db-error

geocode job: Do not return more messages than can fit in the log data column

Deprecate CIVICRM_TEMP_FORCE_UTF8.

Merge pull request #13578 from mattwire/entityform_view_towards

Towards supporting EntityForm for 'View Action'

Merge pull request #13588 from jitendrapurohit/dev-631

dev/core#631 - Enable 'add new' by default on merge screen

Merge pull request #13657 from MegaphoneJon/deprecateBasicContactFields

reporting#9: parity between getContactFields and getBasicContactFields

Merge pull request #13654 from seamuslee001/lab_core_742

dev/core#742 Fix XML parasing by swapping & for ,

Merge pull request #13042 from jackrabbithanna/dev-core-475

only set custom field to null if it is really null, not string 'null'

Use CRM_Utils_SQL_TempTable to drop and create table.

Merge pull request #12641 from mfb/reply-forwarding

CiviMail: Fix reply forwarding for mailers with From: and Return-path: limitations

Merge pull request #12337 from lcdservices/dev-core-190

dev/core#190 / CRM-21643 ensure custom data multi record profile returns correct …

Merge pull request #13441 from greenpeace-cee/fix-schema-parsing

CRM/Logging - Fix various bugs in schema parsing

Merge pull request #13682 from mfb/utf8mb4-check-exception

Force utf8mb4 query to throw exception as the check expects

Merge pull request #13687 from eileenmcnaughton/activity_clean

Minor code cleanup

Merge pull request #13634 from eileenmcnaughton/fin_type_speed

[NFC, test class] formatting, remove unused variables

Minor code cleanup

This is a reviewer's commit of https://github.com/civicrm/civicrm-core/pull/13672

I pulled out some lines I've checked & agree with to simplify that commit

Merge pull request #13644 from mfb/temporary-tables

Refactor CRM_Utils_SQL_TempTable::build()->createWithQuery($sql) interface to support MEMORY tabls

CRM/Logging - Improve enum handling in schema diff

Instead of storing permitted enum values in the LENGTH array key
when extracting column information, this adds a separate ENUM_VALUES
key. When schema differences are calculated for enum columns, this
value triggers a change when new permitted values are added.

CRM/Logging - Fix various bugs in schema parsing

This fixes a couple of bugs in the schema parsing methods used by
Civi's extended logging feature:

- CRM_Logging_Schema::getIndexesForTable only queried for constraints,
  not returning any indexes.
- CRM_Logging_Schema::getIndexesForTable returned an array in the form
  [0 => ['constraint_name' => 'foo']] rather than the expected array
  of index names (i.e. ['foo']).
- CRM_Logging_Schema::columnSpecsOf contained an off-by-one error and
  a wrongly used substr parameter causing column lengths to include
  surrounding parenthesis. This would result in a "varchar(42)"
  column returning a length of "(42)" instead of "42".

Merge pull request #13685 from seamuslee001/tests_746

dev/core#746 Add in unit tests to ensure that where clause is as is w…

Merge pull request #13684 from civicrm/5.11

5.11

dev/core#746 Add in unit tests to ensure that where clause is as is when multiple smart group where clauses are used in search builder

Add in a check of from clauses too

Merge pull request #13683 from seamuslee001/5_11_5_10_4_Release_Notes

Add in 5.10.4 Release notes

Merge pull request #13669 from eileenmcnaughton/payment_format

Payment notification formatting, move greeting into table

Add in 5.10.4 Release notes

Merge pull request #13675 from greenpeace-cee/fix-logtable-exceptions

CRM/Logging - Fix log table exceptions

Merge pull request #13673 from eileenmcnaughton/511geocode

Remove tests that no longer work due to dead service

Merge pull request #13678 from MegaphoneJon/reporting-10-test

test for reporting#10

Merge pull request #13663 from seamuslee001/lab_core_747

Hotfix for dev/core#747 To fix generation of contact image urls

Force utf8mb4 query to throw exception as the check expects.

Fixes dev/core#749

test for reporting#10

Extract checking of filename into own function and add tests

Extract getSearchSQL from getSearchQuery.

Change one instance to call it directly. Next I'll deprecate it & change all instances hit by the tests

Merge pull request #13671 from MegaphoneJon/reporting-11

reporting-11 - fix Soft Credit report with full group by

Merge pull request #13676 from civicrm/5.11

5.11 to master

Merge pull request #13670 from MegaphoneJon/reporting-10-rc

reporting#10 - fix pagination on Contribution Detail report

Merge pull request #13364 from mattwire/activitytype_pseudoconstant

REF Convert deprecated functions to buildOptions for case

CRM/Logging - Fix log table exceptions

This fixes a bug that caused columns that were excluded from being
considered "log-worthy" changes to be logged anyway. That happened
because columns were extracted with backticks but compared to strings
without backticks. To preserve compatibility with exceptions set by
alterLogTables which could contain backticks, the comparison is
performed against the column name with and without backticks.

Remove tests that no longer work due to dead service

reporting-11 - fix Soft Credit report with full group by

reporting#10 - fix pagination on Contribution Detail report

Replace deprecated activityType/activityStatus functions with buildOptions for cases

Merge pull request #13649 from eileenmcnaughton/payment

Switch additional payment form to use Payment.sendconfirmation api

Payment notification formatting, move greeting into table

CRM_Core_Page_File - Only delivers directly under the customFileUploadDir

CRM_Core_Page_File - Fix warning when using filename mode

The idea here is that `id+eid+fcs` and `filename` are two separate modes.
In `filename` mode, you don't need warnings about the missing `fcs`.

Rationalise Activity api ACLs

We have a lot of inconsistency about how (and if) activity ACLs are applied. Note that permissions only apply
when the api is being called with check_permissions = TRUE - e.g from the js layer.

This PR changes the logic used for the activity.get api to be consistent with the report logic
which
a) is the most performant variant
b) is the one with the least code complexity
c) is more consistent with CiviCase
d) allows hooks to modify the permissions applies
e) creates consistency between api v3 & v4
f) is consistent with some site user expectations but not others - the presence of all this inconsistency
is an indicator not everyone wants the same thing but given that choosing a performant &
maintainable option for core seems like a good criteria.

After this patch
1) the 'view all activities' permission will no longer by-pass all other ACLs. One could argue that's exactly
what it means - but it doesn't do that in the UI which seems like the standard elsewhere.
2) a user will be able to view an activity via the api if they have permission to view  ANY contact linked to it (before it was ALL contacts via the api)
3) a user will not see the names of any contacts they do not have permission over when requesting activity contact details in return parameters
4) getcount will no longer by-pass the api
5) performance is improved

Places where permissioning applies to activities
- activities listing on contact - shows actitivies & related contact names regardless of permission to view the contacts
- activity search results -- shows actitivies & related contact names regardless of permission to view the contacts
- activity view page - links to view the activity exist on the above 2 screens but will give access denied unless they
can see ALL related contacts
- activity reports - shows activities if ANY related contacts are permitted, suppresses names of unpermitted contacts

Potential follow on steps
1) make the activity tab listing consistent by switching from the unperformant deprecatedGetActivities fn
to the performance getActivities fn - there are no remaining blockers to that.
2) align the activity view screen & add in hook call there too
3) align activity search results screen, address performance issues there too....

CRM_Core_Page_File - More consistent capitalization/prose

Merge pull request #13662 from seamuslee001/hotfix_746

Deploy hotfix to fix dev/core#746 until tests can be written for fix

Fix case detail report breaking when sorted by case type.

I removed the hacks to cope with poor metadata declaration & fixed the declaration - this should stop
breaking now. Test added

Deploy hotfix to fix dev/core#746 until tests can be written for fix

Fix GroupContactCacheTest

[NFC] code reformatting - use short array syntax

Hotfix for dev/core#747 To fix generation of contact image urls

Merge pull request #13661 from eileenmcnaughton/master

5.11 to master

Merge branch '5.11' of https://github.com/civicrm/civicrm-core

Merge pull request #13660 from seamuslee001/5.11

5.11 - merge in security

Switch Additional Payment to call Payment.send_confirmation api, strip out text

Switch to greeting for better, more consistent results in tpl, remove print statement

Add test for receipt output (test written to pre-change output)

release-notes/5.10.3.md - Update "Feedback" to be... closer to reality wrt SA's

release-notes/5.10.3.md - TOC should match actual headings

Add in 5.10.3 Security Release Notes

Fix file e-notice by using the correct url variables

Fix variables to match image file hash generation

CRM_Profile_Form - Add fcs for download link on custom field

(REF) Clearer docblocks and file names

Fix multiple issues with file URLs. Use clearer variables and docblocks to reduce confusion.

Try and use the correct variable for file id in custom field uploads and use the standard checksum timout as well

generateFileHash() - If we can't generate a secure, then don't generate any token

Falling back to a constant negates any security benefit of using a hash.

IMHO, the edge-case where `CIVICRM_SITE_KEY` is missing should be
obscure/rare and signifies broader problems for the deployment.  It needs to
be corrected.  If you're worried that having an error-symptom here is too
obscure, then let's add a more prominent error-message via
`CRM_Utils_Check`.

NOTE: There is one pre-existing case in core where (in absence of a key) it
procedes with a constant in lieu of a `CIVICRM_SITE_KEY` .  Specifically,
`CRM_Core_Error::generateLogFileHash()`.  That is not a good example to
follow because it is qualitiatively different:

* In `generateLogFileHash`(), `CIVICRM_SITE_KEY` functions as one of
  multiple redundant security mechanisms -- e.g.  even if
  `CIVICRM_SITE_KEY` is missing, the log file remains hard-to-access because
  (1) the DSN is part of the hash and (2) the httpd protects `ConfigAndLog`.
  (Contrast: The file-hash-code is not *redundant* in the same way.)

* In the context of logging, raising any error (even if it's real error
  condition) can provoke a weird loop (because then that error needs to be
  logged).  The log needs to avoid such loops.  (Contrast:
  `generateFileHash()` is part of the normal post-boot application logic, so
  it's free to register errors normally.)

generateFileHash() and validateFileHash() should be colocated

The two functions (`generateFileHash()` and `validateFileHash()`) are
tightly-coupled.  Most changes to one would require a matching change in the
other.  So they should be parallel.

It'd be OK to say "the hash formula is a general utility for any party using
file APIs" (so put `generateFileHash()` and `validateFileHash()` in `CRM_Core_BAO_File`).

It'd be OK to say "the hash formula is specific to the end-point/page which
serves files" (so put `generateFileHash()` and `validateFileHash()` in
`CRM_Core_Page_File`).

The former feels a bit more accurate, so I pushed it toward that.

Switch to Sha256 and add in a ttl

Further WHIP fixing hmac implementation now need to get it generating consistant hashes

Remove debugging

Block access if no Hash is supplied

security/core#26 Add in a generated Hash to download files so that URLs can't just be tested by annon users

prevent timing attacks on the contact checksum validation

Remove support for passing a filename into civicrm/file.

I can find no evidence this is used & it feels like a security risk, albeit they still need
the path

Remove unused file parameters

security/core#33 - Patch jQuery for CVE-2015-9251

See https://github.com/jquery/jquery/issues/2432#issuecomment-403761229
This will no longer be needed after upgrading to jQuery 3.x.

(NFC) Cleanup new docblocks

Follow-up security/core#25 - Consistently change interface

The previous commit 4c1e702f96403bdc84b6900027d1be61ea601321 expanded the
signature of `fillWithSql()` to accept a third argument, but it wasn't
consistent about whether the third argument was optional or required.

This makes it consistently optional (default `[]`).

Resolve security/core#25 Escape use of cacheKey to prevent SQLI when populating the prevNextCache

Security #25 Update Redis implementation to match function sig of interface function

security/core#16 - Smarty - Fix XSS in crmMoney plugin

This fixes an XSS in the crmMoney smarty plugin by checking the
currency against the currency list and adds some basic tests.

Fixes security/core#16

security/core#28 - CRM_Contact - Use uniqid() for table alias