5.1.0 release notes: features and first of bugs

5.1.0 release notes: boilerplate

5.1.0 release notes: raw from script

Merge pull request #12045 from eileenmcnaughton/search-fix

Fix regression whereby relationship types option no longer in adv search

Fix regression whereby relationship types option no longer in adv search

Merge pull request #12034 from colemanw/versionCheck

Flush versionCheck cache when upgrading

Flush versionCheck cache when upgrading

Merge pull request #12008 from totten/5.1-relnote-footer

footer.tpl - Change the URL formula pointing to the release notes

footer.tpl - The release notes URL should be more maintainable

Overview
----------------------------------------
Change the URL formula pointing to the release notes.

Before
----------------------------------------
The formula was `https://github.com/civicrm/civicrm-core/blob/{$version}/release-notes/{$version}.md`. Because the URL
points to a tag on Github, it's hard to make any corrections if something has changed or gone wrong.

After
----------------------------------------
The formula is `https://download.civicrm.org/about/{$version}`, which corresponds to
[civicrm-dist-manager's AboutController](https://github.com/civicrm/civicrm-dist-manager/blob/master/src/CiviDistManagerBundle/Controller/AboutController.php).

Merge pull request #12005 from eileenmcnaughton/5.1

core/issues/64 - In custom searches, column headings are being ignored

core/issues/64 - In custom searches, column headings are being ignored

Merge pull request #11991 from totten/5.1-vernum

VersionCheck - Get more nuanced messages from latest.civicrm.org

Merge pull request #11963 from JMAConsulting/dev-mail-8

(dev/mail/8) Using ACL to restrict mailing recipients leads to fatal error

Merge pull request #11984 from eileenmcnaughton/5.1.1

Fix trigger generation for modified_date on custom data

VersionCheck - Get more nuanced messages from latest.civicrm.org

Overview
----------------------------------------
Get fully-formed upgrade messages from `latest.civicrm.org`. This allows us to convey more nuanced information about available upgrades.
It also allows us to iterate more quickly on how releases are presented (e.g. adding hyperlinks to the blog/changelog, highlighting
important changes, introducing the in-between status `deprecated`).

Before
----------------------------------------
The `VersionCheck` helper sends a request to `latest.civicrm.org` with `format=json` to get a list of all available versions.

Then it digests the information and presents any messages in the `CRM_Utils_Check` layer.

After
----------------------------------------
The `VersionCheck` helper sends a request to `latest.civicrm.org` with `format=summary` to get a list of displayable messages.

Then it presents any messages in the `CRM_Utils_Check` layer.

Technical Details
----------------------------------------

* Because patch-releases are allowed mid-month, this patch also reduces the TTL from 7 days to 3 days.
* Test coverage is reduced here (`civicrm-core`), but it's improved a lot elsewhere (`latest.civicrm.org`).
* In `VersionCheck`, it makes a few contract changes (which have been evaluated by grepping for stale references circa 4.7.31). Specifically:
    * Add `getVersionMessages()`
    * Remove unnecessary members `$localMajorVersion`, `getMajorVersion()`, `isNewerVersionAvailable()`, `checkBranchForNewVersion()`
    * Change the content of `versionInfo`. It's still a cache of the web-service response, but now it's a list of displayable messages (rather than a list of all versions).

use Civi::static in place of static variable

Merge pull request #11976 from eileenmcnaughton/5.1

Fix failure to render dedupe page

Fix trigger generation for modified_date on custom data

In 4.7.25 https://github.com/civicrm/civicrm-core/pull/10754/commits introduced
some modifications to the generation of triggers to update the modified date field.

It basically derived the entity being extended by a table and then if that entity had a
modified_date field then a trigger would be created to update that field.

However, a bug in the CRM_Core_BAO_CustomGroup::getAllCustomGroupsByBaseEntity function
meant that incorrect additional tables are also being updated for custom fields.

For entities extending contact the contact table AND the mailing table are updated. e.g
```
CREATE TRIGGER {mycustomtable}...
UPDATE civicrm_contact SET modified_date = CURRENT_TIMESTAMP WHERE id = NEW.entity_id;

UPDATE civicrm_mailing SET modified_date = CURRENT_TIMESTAMP WHERE id = NEW.entity_id;
```

For entities that extend tables that should not attract a trigger ONLY
the mailing table is updated.

The bug in CRM_Core_BAO_CustomGroup::getAllCustomGroupsByBaseEntity is that it adds the
WHERE clause 'AND extends IN ($entityType)' ONLY if $entityType is in a whitelist.

Invalid entities result in no filtering.

As a fix using a whitelist is no longer valid - we support any entity that might
be configured now so simply filtering on the entity makes sense.

Other paths to this function seem unlikely to pass in invalid entities & hence trigger this bug.

(dev/mail/6) Using ACL to restrict mailing recipients leads to fatal error

Fix failure to render dedupe page

Set version to 5.1.beta1

Merge pull request #11942 from civicrm/5.0

5.0 merge to master

Merge pull request #11924 from JMAConsulting/dev-42

(dev/mail/6) Fix recipient calculation when system has mixed records. Add multilingual test.

Merge pull request #11941 from civicrm/5.0

5.0 to master

Merge pull request #11940 from agh1/5.0.0-release-notes-update

5.0.0 release notes: last-minute change merged

5.0.0 release notes: René Olivo works for CompuCorp

5.0.0 release notes: last-minute change merged

Merge pull request #11934 from eileenmcnaughton/fees

Fix fatal error when selecting a $0 price option in change fee selection

Merge pull request #11930 from agh1/translate-phone-extension

Phone: standardize appearance and translation of extension label

Merge pull request #11884 from eileenmcnaughton/hold

Tidy up on_hold handling in holdEmail function.

Merge pull request #11935 from civicrm/5.0

5.0 to master

5.0.0 release notes (#11931)

* 5.0.0 release notes: raw from script

* 5.0.0 release notes: starting from the top

* 5.0.0 release notes: finished features next steps start with bugs

* 5.0.0 release notes: a few more bugs

* 5.0.0 release notes: cleaning up

* 5.0.0 release notes: fixed up features and bugs sections

* 5.0.0 release notes: updated contributors and boilerplate

* 5.0.0 release notes: late changes to RC

Merge pull request #11666 from eileenmcnaughton/validate_json

 CRM-21753 add json validation for incoming criteria

Merge pull request #11865 from seamuslee001/core_dev_18

Fix Core/Dev 18# where logging fails if the AUTO INCREMENT column is …

Fix fatal error when selecting a /bin/bash price option.

The code for creating a new price option creates a new financial transaction but when choosing a /bin/bash price option
it fails as the api does not accept /bin/bash EntityFinancialTrxn, skip if /bin/bash

Merge pull request #11933 from civicrm/5.0

5.0 to master

Merge pull request #11932 from colemanw/8

Core/8 - Fix fatal error on Print/Merge Document for cases

Phone: standardize appearance and translation of extension label

Core/8 - Fix fatal error on Print/Merge Document for cases

Conflicts:
CRM/Case/Form/Task.php

Merge pull request #11929 from civicrm/5.0

5.0 merge to master

Merge pull request #11928 from seamuslee001/case_pre_process_task

Re Add CRM_Case_Form_Task::PreProcessCommon()

Re Add CRM_Case_Form_Task::PreProcessCommon()

Simplify down and use parent PreProcess function

Merge pull request #11927 from samuelsov/NFC-taxts

(NFC) make (includes taxes) translation work

(NFC) make (includes taxes) translation work

Merge pull request #11885 from eileenmcnaughton/report_filter_eq

Handle eq (equals) operator in the report url

(dev/mail/6) additional fix and added unit test

Merge pull request #11921 from civicrm/5.0

5.0 merge to master

Merge pull request #11917 from eileenmcnaughton/cont_report

CRM-21831 & dev/report/issues/1 Fix regressions in contribution detail report relating to soft credits

Merge pull request #11919 from eileenmcnaughton/top

Fix fatal on topDonor report

Merge pull request #11918 from eileenmcnaughton/export

Extract fetchRelationshipDetails function

Fix fatal on topDonor report

Merge pull request #11814 from eileenmcnaughton/report

CRM-21677 - Report improvements

Extract fetchRelationshipDetails function

Merge pull request #11914 from seamuslee001/CRM-21244-doc

CRM-21244 Update documetnation so it makes sense when setting is disabled

Fix bugs in contribution detail report relating to soft credits

Merge pull request #11915 from civicrm/5.0

5.0

Merge pull request #11906 from JMAConsulting/dev-42

(dev/mail/6) On multilingual mode, choosing mailing group doesn't affect recipient count and list

Merge pull request #11905 from seamuslee001/CRM-21244-consistancy

CRM-21244 Ensure consistancy with previous behavior where user emails …

Merge pull request #11909 from mattwire/membershiptype_comments

NFC Minor comments cleanup on MembershipType

Merge pull request #11668 from elisseck/CRM-21763

CRM-21763 Util to subtract currencies using integers for precision

Merge pull request #11911 from JMAConsulting/dev-7

(dev/mail/7) On 'New Mailing' review page, it doesn't show recipients count

Update documetnation so it makes sense when setting is disabled

CRM-2144 Ensure consistancy with previous behavior where user emails are first then system from emails.

Add unit test to try to verify order of emails

Fix issue where email was not being used as array key causing wrong email to be used

(dev/mail/7) On 'New Mailing' review page, it doesn't show recipients count

(dev/mail/6) On multilingual mode, choosing mailing group doesn't affect recipient count and list

Minor comments cleanup on MembershipType

Merge pull request #11904 from totten/5.0-preview-regr

(dev/mail/5) "New Mailing" - Previews should not schedule real blasts

CRM-21677 - Report improvements

CRM-21677 - fix DB error and more clean up

CRM-21677 - generalised function

minor fix

CRM-21677 - keep the naming consistent

style fix

Merge pull request #11898 from eileenmcnaughton/min_report

CRM-21677 reduce unnecessary joins in reports

(dev/mail/5) "New Mailing" - Previews should not schedule real blasts

In `CRM_Mailing_BAO_Mailing::create` and `Mailing.create` API, there is a
(*ahem*) special behavior where setting the `scheduled_date` will
immediately trigger scheduling.  One shouldn't submit `scheduled_date` for a
preview.

This was not symptomatic before #11142/v4.7.31 because all preview
operations were wrapped in a transaction and rolled back.  But now previews
are allowed to have side-effects, so we need some other means to prevent.

This copies the workaround from `crmMailingMgr.save()` and applies
it to `crmMailingMgr.preview()` (etal).

Merge pull request #11878 from mattwire/CRM-21791_financial_batch_pseudoconstant

CRM-21791 Use name for comparison instead of label (alternative)

CRM-21677 reduce unnecessary joins in reports

Merge pull request #11889 from eileenmcnaughton/min_report

CRM-21677 reduce unnecessary joins in reports

Merge pull request #11890 from otetard/bugfix/fix-deceases-membership-processing

Fix CRM-19920 regression: “Deceased” status could be translated.

Fix CRM-19920 regression: “Deceased” status could be translated.

Find “Deceased” `status_id` by using `CRM_Core_PseudoConstant::getKey()` and check use this status is enabled by using this `status_id` instead of its label (which could be translated).

Merge pull request #11703 from eileenmcnaughton/export

Remove cloning hack from export and add unit tests

Merge pull request #11895 from totten/master-ext-check

CRM_Utils_Check - Soften messages for read-only extensionsDir

CRM_Utils_Check_Component_Env::checkExtensions - Fix typo

CRM_Utils_Check_Component_Env - Soften messages for read-only extDir

There are competing schools of thought on whether extension folders should be web-writable:

* Sometimes, the most active (or the only) admins are web-based. Making the folder writeable lets them keep extensions up-to-date through the web UI.
  This includes applying security-fixes for extensions. Thus, sites with writeable extdir are harder to attack (more secure).
* Sometimes, the most active (or the only) admins don't use the web-based admin UI, and they don't trust any web-based users to do administration.
  They don't want the folder to be writeable.
* If there's a flaw that allows writing to the filesystem, it could be escalated to writing+executing code. Thus, sites with read-only
  extdir are harder to attack (more secure).

This commit tries to accept each scenario as valid -- but communicate
better.  Instead of flatly describing the read-only dir as erroreous,
present a warning with some choice/trade-off.

CRM_Utils_Check_Component_Env - Remove redundant check for extensionsDir

When you have a non-writeable extensions directory, *two* status checks will
copmlain about it (`checkDirsWritable`, `checkExtensions`).  Between the two,
`checkExtensions` is smarter.

Merge pull request #11891 from nielosz/Add-activities-to-recent-items

CRM-21434: Add activities to recent items stack

Merge pull request #11888 from mattwire/formrule_typo

NFC Fix function name typo

CRM-21763 add money util to subtract currency floats with precisely and implement in CRM_Core_BAO_FinancialTrxn::getPartialPaymentWithType

Add items to recents items

Merge pull request #11886 from eileenmcnaughton/varName

[NFC] Fix mispelled variable and simplify a couple of other vars

CRM-21677 reduce unnecessary joins in reports

Merge pull request #11880 from eileenmcnaughton/min_report

 CRM-21677 reduce unnecessary joins in Case, Grant, Survey reports

Fix function name typo

 CRM-21677 reduce unnecessary joins in Case, Grant, Survey reports

[NFC] Fix mispelled variable and simplify a couple of other vars

Merge pull request #11882 from eileenmcnaughton/report_filter

Fix report form isTableSelected to treat relative date filters as filters

Handle eq (equals) operator in the report url

Tidy up on_hold handling in holdEmail function.

Follow up on https://github.com/civicrm/civicrm-core/pull/11807

Merge pull request #11807 from lyyana/patch-1

"hold_date" not updated if civimail_multiple_bulk_emails is true + test

Merge pull request #11336 from eileenmcnaughton/live

CRM-21489 document new constant in civicrm.settings.php

Merge pull request #11863 from eileenmcnaughton/payment_view

Tweak layout on contribution view screen to make payments clearer

CRM-21753 - addition of json validation

Per https://github.com/civicrm/civicrm-core/pull/11658

the dedupe code has a mechanism to handle a nuanced array of criteria.

This PR is purely to support the passing of that json through the url criteria  with
a proposed validation rule.

The criteria in the url might look like

criteria={"contact" : {"first_name" :{"IN" : ["Peter", "Paul", "Mary"]]]}

This is passed to the contact api to limit the contacts to look for matches
for (before actually finding the matches). In discussion the biggest risk seemed to
be the possibility of chaining so I have added a filter on the
criteria & set check_permissions (acls are applied in the next step but
having it on the api call is clearer & may reduce matches for the next step).

Fix report form isTableSelected to treat relative date filters as filters.

isTableSelected looks to see if the filter has been passed in. Without this it looks in ->_params[{}_value] &
for {}_op to be null or 'not null' but misses relative date filters.

Merge pull request #11879 from MegaphoneJon/CRM-21842

CRM-21842 - Fix links to documentation

Merge pull request #11874 from eileenmcnaughton/cust_data

[NFC] remove unused vars