RT#765026, patch for null values in civicrm_acl_cache

Added the current uncommited changes to production code, and rebased to 4.6.8

Additional files for PDF/Latex

Our changes

Merge pull request #10611 from totten/4.7.21-rc-notes

Release notes - Multiple updates for v4.7.21

release-notes/4.7.21 - Fix references to subordinate PRs

release-notes/4.7.21 - Add section for security advisories

Merge pull request #10610 from agh1/4.7.21-releasenotes

4.7.21 release notes

4.7.21 release notes: updated contributors

4.7.21 release notes: bulk of notes

raw from script

Merge pull request #10598 from totten/4.7.21-rc-20675

(Backport) CRM-20675 - Fix incorrect renewal activity created when membership updated via API

Minor fix at unit test

CRM-20675: Fix incorrect renewal activity created when membership updated via api

Merge pull request #10583 from seamuslee001/CRM-20789

CRM-20789 Fix unsubscribing when link comes from an AB Test

Fix bug in open case status selector

Merge pull request #10575 from JMAConsulting/CRM-20747-rc

CRM-20747: {contribution.campaign} token not working on Contribution

CRM-20789 Add check based on mailing_type following chat with Tim to ensure only deailing with AB tests

CRM-20789 Fix unsubscribing when link comes from an AB Test

CRM-20789 Fix retrieving entity when in AB test context

Merge pull request #10577 from totten/4.7.21-rc-src

CRM-19303 - Drupal - Restore getCiviSourceStorage()

CRM-19303 - Drupal - Restore getCiviSourceStorage()

This partially reverts changes made under CRM-19303:
 * The changes to `getDefaultFileStorage()` are preserved
 * The changes to `getCiviSourceStorage()` are reverted
 * To avoid conflicts, `parseDrupalSiteName()` has been split into the older `parseDrupalSiteNameFromRoot()` and the newer `parseDrupalSiteNameFromRequest()`.
   (IMHO, `parseDrupalSiteNameFromRequest()` is more correct, but `parseDrupalSiteNameFromRoot()` is more compatible with existing deployments).

As discussed in [PR #10513](https://github.com/civicrm/civicrm-core/pull/10513#issuecomment-310506829),
we should stop trying so hard to autodetect these things.  We'll treat the
auto-detection stuff as legacy, and should shift toward a simpler/flatter arrangement
which encourages paths/URLs to be stored in `civicrm.settings.php`.

CRM-20747: {contribution.campaign} token not working on Contribution

Merge pull request #10567 from totten/4.7.21-rc-rm

CRM-20243 - Actively remove old files

CRM-20243 - CRM_Utils_Check - Simplify Auth/SASL checks

CRM-20243 - CRM_Upgrade_Form - Delete orphaned files before upgrade

CRM-20243 - Add check for deleted files

CRM-20243 - Civi\Core\Paths - Define 'civicrm.packages' variable (etal)

In the long run, the file location of the `packages`, `vendor`, and
`bower_components` should be adjustable (depending on how the codebase is
built).

This patch begins loosening the coupling between the `$civicrm_root` and
those folders.

Merge pull request #10555 from totten/4.7.21-install-port

CRM-20768 - Installer UI - Accept mysql port

Merge pull request #10556 from devarun/4.7.21-rc

CRM-20644: Column names on Advanced search results displayed on contacts are out of order.

CRM-20644: Column names on Advanced search results displayed on contacts are out of order.

CRM-20768 - install - Improve docblock

CRM-20768 - Install UI - Distinguish host/port in IPv6

CRM-20768 - install - Accept mysql port

== Background ==

In previous releases, the web-based installation script allowed you to enter
the MySQL "server" with a `host:port` combination (e.g.  `127.0.0.1:3307`).

I believe this regressed during the mysql=>mysqli transition.

== Before ==

If you use the web-based install UI and enter a `host:port` combination, the
error messages indicate a confusing mix of information (e.g.  some
indicating port 3306, some indicating port 3307).

== After ==

If you use the web-based install UI and enter a `host:port` combination, it
uses the specified port.

----------------------------------------
* CRM-20768: Web-based installation should accept non-standard MySQL port
  https://issues.civicrm.org/jira/browse/CRM-20768

Merge pull request #10540 from colemanw/CRM-20091

CRM-20091 - Fix return value in api.customValue.gettree

CRM-20091 - Fix return value in api.customValue.gettree

Merge pull request #10523 from seamuslee001/animated_image

(NFC) re add in animated-overlay.gif is no longer provided by jquery-ui

Merge pull request #10525 from seamuslee001/contribution_test_rigger_fix

(NFC) Fix clearing messages to ensure test accuracy

(NFC) Fix clearing messages to ensure test accuracy

(NFC) re add in animated-overlay.gif is no longer provided by jquery-ui

Merge pull request #10085 from totten/master-assets

CRM-20600 - AngularJS - Allowing hooking and static-caching

CRM-20600 - AssetBuiler - Add separate setting, `assetCache`

The default value (`auto`) behaves the same as the current behavior: enable
caching in production mode, disable caching in debug mode.

But it also allows you to enable/disable caching independent of the
prod/debug mode.

Merge pull request #9790 from fliespl/patch-3

CRM-19896 - customTranslateFunction not mapped

Merge pull request #10519 from johanv/attribution_chirojeugd

(NFC) Attribution Chirojeugd Vlaanderen

CRM-20600, CRM-20112 - AngularLoader - Add helper for base-pages and injections

This commit extracts the `Civi\Angular\Page\Main::registerResources()` and
creates a new utility-class, `AngularLoader`.  The `AngularLoader` can be
used in new Angular base-pages, e.g.

```php
class Example extends CRM_Core_Page {
  public function run() {
    $loader = new \Civi\Angular\AngularLoader();
    $loader->setPageName('civicrm/foo/bar');
    $loader->setModules(array('crmApp', '...'));
    $loader->load();
    return parent::run();
  }
}
```

The `AngularLoader` only loads the resources or assets (JS/CSS/HTML files).
To start Angular, you'll need to call `ng-app` or `angular.bootstrap(...)`.
One way to do this is to define a page-template:

```html
<!-- Example.tpl -->
<div ng-app="crmApp">
  <div ng-view></div>
</div>
```

Or you can reuse the existing template:

```php
  public function getTemplateFileName() {
    return 'Civi/Angular/Page/Main.tpl';
  }
```

Note: This is framed as a utility-class which loads the Angular resource
files.  It's not a page-class/base-class.  This approach allows us to call
the utility from other situations -- e.g.  inject AngularJS onto an
pre-existing page via hook.  Doing that may or may not be wise, but the
class-hierarchy shouldn't be the issue.

CRM-20600 - Civi\Angular\Manager - Add resolveDependencies(), resolveDefaultModules()

CRM-20600 - CRM_Core_Resources - Add hook for settings data

CRM-20600 - Civi\Angular\Manager - Add hook for modifying partials and dependencies

CRM-20600 - Civi\Angular\ChangeSet - Implement a utility for modifying HTML snippets via phpQuery

CRM-20600 - composer.json - Add phpQuery

CRM-20600 - Angular deps - Add missing/implicit dependencies

Several modules depended on `crmResource` but didn't declare it.

CRM-20600 - Angular deps - Move from *.js to *.php

If third-parties are allowed to alter the HTML content, then they may
introduce new dependencies.  This means that they'll need to delcare those
dependencies.

This commit actually moves the declarations for any in-house modules to PHP.

CRM-20600 - Angular deps - Allow declaration in PHP code

If third-parties are allowed to alter the HTML content, then they may
introduce new dependencies.  This means that they'll need to delcare those
dependencies.

Tangentially, this will also make it easier to construct more optimized
base-pages (e.g.  "make a base-page with module X plus all its
dependencies").

CRM-20600 - civicrm/a - Avoid dirty caches for permissioned modules

The default behavior is to include a `bundleUrl` for a bundle of "all
Angular modules".  However, some Angular modules like `crmMailing` are only
displayed if the current user has permission to access them.  This means
that the list of "all Angular modules" can be different (depending on who
you are; albeit in practice there's a small# of permutations).

This patch ensures that two users who access a different list of modules
will see a different `bundleUrl`.

CRM-20600 - Civi\Angular\Manager::getStrings() - Scan raw HTML strings instead of *.html files

Rationale: If the raw HTML can be modified via hook, then the HTML files are
not truly representative of the final output.  (e.g.  a hook might add a new
string to some HTML.)

Note: This patch means that we no longer benefit from the cache in
`CRM_Core_Resources_Strings`.  However, the typical user still pulls data
from a cache because we're using `AssetBuilder` to manage
`angular-modules.json`.

Note: `getStrings()` now requires a call to `getPartials()`, which is
expected to become more expensive (firing a hook).  To avoid building the
partials twice, we introduce a private cache.

CRM-20600 - PartialSyntaxTest - Ensure that Angular partials are well-formed

CRM-20600 - Civi\Angular - Generate modules via AssetBuilder

In the typical use-case, AssetBuilder can avoid an extra CMS+Civi bootstrap
along with any build steps.

CRM-20600 - Implement AssetBuilder - See extended docblock in AssetBuilder.php

CRM-20600 - Move Angular metadata to civix-style files

This PR moves the metadata about Angular modules out of Civi\Angular\Manager
and into standalone files (`ang/*.ang.php`).  This uses the same structure
as `civix`.  Also, this makes it easier to navigate between the
JS/HTML/CSS/PHP content.

To test that these changes were safe, I ran the following command before and
after this commit:

$ cv ev 'var_dump(Civi::service("angular")->getModules());'

The results were substantively identical.

Merge pull request #10520 from seamuslee001/CRM-20744

CRM-20744 Use images in the bower_components version of datatables plugin rathe…

Use images in the bower_components version of datatables plugin rather than packages

Merge pull request #10495 from seamuslee001/CRM-20243-phpword

CRM-20243 Remove outdated sample jquery.min.js from phpword package

Remove all code in the samples folder as per comment from Tim

CRM-20243 Remove outdated sample jquery.min.js from phpword package

Merge pull request #10329 from totten/master-caconfig

CRM-18408 - composer.json - Update ca-config

It seems those lists are sorted alphabetically :-)

Added Chirojeugd Vlaanderen to CONTRIBUTORS.txt.

Almost all contributions I did for CiviCRM, were sponsored by my
former employer Chirojeugd Vlaanderen.

CRM-18408 - composer.lock - Update ca-config

CRM-18408 - composer.json - Update ca-config

This loads a more recent build of `cacert.pem` for use on hosts which lack
one.  It does not directly solve CRM-18408, but it complements the solution.

Merge pull request #10384 from seamuslee001/CRM-20561

CRM-20561 Use composer for Net_SMTP and Net_Socket and patch for TLS and CiviCR…

Merge pull request #10477 from twomice/CRM-20692_support_jquery_tabs_options

CRM-20692: pass through options.

Merge pull request #10512 from johanv/CRM-20740-custom_field_not_null

CRM-20740 - Fix issue with check for custom_nn => ['IS NULL' => 1].

Merge pull request #4 from totten/seamuslee001-CRM-20561

CRM-20561 - Remove example files. Cleanup code style.

CRM-20561 - net-smtp-fix.sh - Cleanup code style

CRM-20561 - Net_SMTP - Remove example files

Merge pull request #10511 from totten/master-19303

CRM-19303 - Drupal - Fix computation of `civicrm.files` on multisite

Merge pull request #3 from totten/seamuslee001-CRM-20561

CRM-8597, CRM-20561 - Restore fix for `&`

CRM-8597, CRM-20561 - Restore fix for `&`

Merge pull request #10390 from JMAConsulting/CRM-20611

CRM-20611: fix financial records of cancelled line_items on event fee  change selection

Merge pull request #10397 from JMAConsulting/CRM-20620

CRM-20620, optimized code to use Batch api

Merge pull request #10443 from twomice/CRM-20660_total_vs_unique_opens

Fix CRM-20660: Total Opens should count without DISTINCT keyword.

PHP 5.3.

Tried to write a test.

But since I have no working dev environment for the moment, I cannot
run it myself. I will push it, and see if it passes.

(If someone can check whether the tests fails on master, that would
be very nice.)

Style fix.

CRM-20740 - Fix issue with check for custom_nn => ['IS NULL' => 1].

Merge pull request #10503 from jitendrapurohit/CRM-20556

CRM-20556: Fix datatable warning on merge screen

CRM-19303 - Paths - Allow sysadmin to explicitly `[civicrm.*]` variables

CRM-19303 - Drupal - Fix various path computations for multisite

A few changes:
 * Move logic out of `CRM_Utils_System_Base` to `CRM_Utils_System_DrupalBase`
   so that it's easier to read.
 * Update `[civicrm.files]`:  First, try to use `sites/{$name}/files/civicrm`.
   Otherwise, use `sites/default/files/civicrm`.
    * Note: The `$name` is parsed/validated the same way as `civicrm.config.php`.
      It takes the full HTTP_HOST and then tries various substrings.
 * Update `[civicrm.root]`:  Compare `$civicrm_root` and `cmsRootPath()`
   to determine the relative path.  Then, combine `CIVICRM_UF_BASEURL` with
   relpath.  (This is the same as WordPress.)

Merge pull request #10499 from agileware/CRM-20718

CRM-20718 CIVICRM-125 Use the "On behalf of" profile title...

Merge pull request #10510 from seamuslee001/api_duplicate_location_types

API allows creating multiple addresses same location type

Merge pull request #10456 from elisseck/CRM-20672

CRM 20672 - Fix access to fields for relationship with target type all contacts in export mapping

Add comments around 'wrongness' and link to chat discussion

API allows creating multiple addresses same location type

Merge pull request #10502 from agileware/CRM-20253

CRM-20253: CIVICRM-135: Don' send extra receipt email.

Merge pull request #10509 from seamuslee001/CRM-20253-test2

CRM-20253 Fix some environmental issues in tests

CRM-20253 Fix some environmental issues in tests

Merge pull request #10508 from seamuslee001/CRM-20253-test2

CRM-20253 Add another test using dummy processor and switch noReceipt…

CRM-20253 Add another test using dummy processor and switch noReceipt test to dummy processor

Merge pull request #10506 from seamuslee001/CRM-20253-test

CRM-20253 Add test to ensure that email receipts aren't sent when not…

Merge pull request #10479 from tschuettler/CRM-20694

CRM-20694 - CiviMail - Add Resubscribe Message to CiviMail Report

Merge pull request #10476 from chrisfromredfin/CRM-20690

CRM-20690: fix priceset option limits