bin/regen.sh - Execute GenerateData.php with a dummy CMS

1. This addresses the error [PHP Fatal error:  Call to undefined function db_query() in /opt/buildkit/build/mytestbuild/sites/all/modules/civicrm/CRM/Utils/System/DrupalBase.php](http://civicrm.stackexchange.com/questions/11972/regen-sh-call-to-undefined-function-db-query/11986#11986).

2.  Generally, the goal here is to produce `civicrm_generated.mysql`, which
is used on any/all CMS's to initialize the Civi database.  If the generation
were really dependent on Drupal 7, then we wouldn't be able to use that
output on other CMS's, right?  Thus I'm hopeful that we can generate
`civicrm_generated.mysql` with any `CIVICRM_UF`.  And the `UnitTests` UF has
fewer dependencies/interactions.

3. Since `GenerateData.php` is running in a dummy CMS, we can remove
these weird mock-drupal-functions.

4. To test, I ran `regen.sh` and compared the output with the old one.
All the changes looked like random-data (`civicrm_contact`, etal) and
not structural data (`civicrm_option_value`, etal).

Merge pull request #8452 from jitendrapurohit/CRM-18677

CRM-18677 - Bugs with multivalued custom data displayed Inline.

Merge pull request #8441 from rajbdilip/CRM-17887_2

CRM-17887 - Add a new setting `Financial Batch date`

Merge pull request #8458 from tommybobo/select2css-fix

CRM-18691 Select2 Height being squashed when defult is blank

CRM-18691 Select2 Height being squashed when defult is blank

Merge pull request #8457 from yashodha/CRM-18676

CRM-18676: Incorrect status for pay later free membership

CRM-18676: Incorrect status for pay later free membership

----------------------------------------
* CRM-18676: Incorrect status for pay later free membership
  https://issues.civicrm.org/jira/browse/CRM-18676

CRM-18676: Incorrect status for pay later free membership

----------------------------------------
* CRM-18676: Incorrect status for pay later free membership
  https://issues.civicrm.org/jira/browse/CRM-18676

CRM-17887 - Add a new setting `Financial Batch date`

https://issues.civicrm.org/jira/browse/CRM-17887

He's likely referencing the setting at Administer > Localization > Date Formats, Complete Date fields. Unfortunately, those settings don't include a convenient one for this purpose, since by default they include text names of months, etc. So, added a new field exclusively for Financial Batch.

CRM-18677 - Bugs with multivalued custom data displayed Inline.

Merge pull request #8443 from colemanw/CRM-17607

CRM-17607 - Add docx, odt, html document export functionality

CRM-17607 - Fix document showing up as activity type

CRM-17607 - Support multiple document formats for export

CRM-17607 - Change PDF activity type label

CRM-17607 - Add phpoffice/phpword library

Merge pull request #8434 from totten/master-regen-zipcodes

(NFC) bin/regen.sh - Drop-create table `zipcodes`

bin/regen.sh - Drop-create table `zipcodes`

The original `regen.sh` script drops the table `zipcodes` after creating it.
That works fine in normal execution (when `regen.sh` finishes without
erorr).  But if there is an error, then the table gets left in the DB -- and
creates a conflict when you try re-run `regen.sh`.

This patch does a 'drop-create' so that subsequent runs will work despite a
previous error.

Set version to 4.7.9

Merge pull request #7586 from nielosz/configure-recent

[ready-for-core-team-review] Add settings to configure recently viewed items stack (Recent.php)

Merge pull request #8419 from totten/master-dompdf

CRM-16898 - Restore TreeBuilder. Replace debug call.

CRM-16898 - Replace debug code in html5lib

Revert "CRM-16898. Remove debugging in html5lib."

This reverts commit 693cb3279584278ccbb3eaa1394999c7a69d7bf6.

Merge pull request #8298 from colemanw/CRM-18286

CRM-18286 - Use localStorage to remember datatable page length

Merge pull request #7825 from torrance/editable-button-fix-master

Ensure editable buttons don't sit underneath other page elements.

Merge pull request #8370 from eileenmcnaughton/groups

CRM-16642 group refresh code

Merge pull request #8417 from seamuslee001/CRM-18504-47

CRM-18504 Add test for custom group that extends multiple subtype

Update sql/civicrm_generated.mysql

CRM-16642 - Simplify list of smart-group options

Using an option-group takes a lot of work.  Also, it wasn't handling
consistently labels+descriptions (upgrade-vs-new install), and it isn't
really supported in the metadata for Setting API.  And fundamentally this
list is not really editable by users.

Merge pull request #8415 from monishdeb/CRM-18159

CRM-18159: Mailings does not have an ACL restriction in place

Merge pull request #7587 from totten/master-jobproc-2m

CRM-17629 - JobProcessMailingTest - Test w/mailerBatchLimit & 2x mailings

Merge pull request #8416 from monishdeb/CRM-18322

CRM-18322: notice fix on participant search

Revert unintentionally deletion

Reflect style guidelines

Validate user input on stack size

Reflect civi style guidelines

Add configuration options to adjust the behavior of recent items stack: 1.) Define stack size, 2.) Decide which components may store items in stack

Convert test to having multiple custom groups separated by VALUE_SEPARATOR

Fix undefined veriable

additional fixes

CRM-18159 fixed styles issues and moved buildAcl to CRM_ACL_BAO_ACL

Fixed CRM-18159: master branch and  sending test mail to group did not include an acl yet.

Attempt to add test for custom group that extends multiple subtype

CRM-18322: notice fix on participant search

Fix deprecated settings call

Reflect civi style guidelines

Rm debug out

Add configuration options to adjust the behavior of recent items stack: 1.) Define stack size, 2.) Decide which components may store items in stack

Merge pull request #8366 from kenwest/CRM-18528-b

CRM-18528 Manage Groups search ignores filters

Merge pull request #8349 from rajbdilip/CRM-18324

CRM-18324 - Fix tax divison by zero error on Event Dashboard

 CRM-18568 remove flawed tests.

 After fixing the api to create option groups as enabled parts of this
 test started to fail as it became clear they were only appearing to pass
 (somewhat intermittantly) due to them bypassing checks due to the set up
 issue. This commit disables those parts for now. State province & country
 are
 subject to a caching bug & LIKE on pseudoconstants has issues described
 in CRM-18568

\1a

Merge pull request #8413 from totten/master-ymdhis

Change 12-hour `Ymdhis` to 24-hour `YmdHis`

sql/GenerateReportData.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

sql/GenerateData.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

Civi/Core/SettingsBag.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Utils/Mail/Incoming.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Core/BAO/File.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Core/BAO/CustomGroup.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Core/BAO/CustomField.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM-16642 - Compute timestamps using 24-hour clock

`Ymdhis` is silly here.  Use `YmdHis`.  This was causing test results to
vary based on they were run.

CRM-16642 - Rename `refreshCache` to `flushCache`

The old name is misleading about the outcome -- it does not end up producing
a 'fresh' cache.  It produces an empty cache.

CRM-16642 add further tests

Change-Id: I0804620359bf594d100ffcf74c638b94b012c584

tidy up constant ref

Change-Id: Ie05c915f9a1841a6faf5654965399b5ed0bf62b6

Add tests for Ensure OptionGroup exists fn & fix optionValueExists to accept ID

The option_group_id field accepts name or id so use that.

CRM-18516 clarify that cache_date & refresh_date can be NULL (ie. when they have not been build).

Arguably refresh_date should be set to 'now' at this point but this doesn't change anything and that logic might be teased out more when we turn out eyes to the rebuild scripts

Fix install portion of new option Group

First caching test:

Change-Id: I2bc8de77ff063605b64042a2ed4dc6d5175e6f5d

Preliminary tidy up on test class

CRM-18516 add job for clearing of caches, separated from the rebuild job

CRM-16642 Switch to opportunisticCacheRefresh calls.

There is one call left to the function called 'remove' which needs a little more consideration

CRM-16642 add setting & functions for opportunistic vs deterministic cache clearing

CRM-18142 fix use of uninidexed TIMESTAMPDIFF function

This removes function comparisons in favour of direct comparisons on cache date functions

CRM-18516 Convert the date fields relating to group caching & acl caching timestamp

Comment fixes & formatting

Merge pull request #8338 from JKingsnorth/CRM-18526

CRM-18526: Fix upgrade code for foreign keys from CRM-18345

Merge pull request #8251 from eileenmcnaughton/merge_tests

Dedupe fixes CRM-18442, CRM-18539,  CRM-18480

Merge pull request #8410 from mollux/CRM-18589

CRM-18589 Drastically reduce memory usage during tests.

Drasticly reduce memory usage during tests.

Merge pull request #8406 from eileenmcnaughton/batch_trxn_id

CRM-17123 - Include Transaction ID in membership bulk entry profile

Merge pull request #8284 from eileenmcnaughton/postal_code

CRM-17118 extend civicrm_address postal_code to accept full data stri…

CRM-17123 - Include Transaction ID in membership bulk entry profile

CRM-17123: add unit test

Merge pull request #8145 from nielosz/master

To check mails for a valid html part strip tags when comparing

Merge pull request #8222 from eileenmcnaughton/CRM-18465

CRM-18465: fully resolve contributions before resolving tokens

Merge pull request #8405 from eileenmcnaughton/custom_data-regress

CRM-18504 fix validation error when contact subtype is disabled

Merge pull request #8189 from kenwest/CRM-18448

CRM-18448 Update recurring contribution - fix Financial Type required error

Merge pull request #8190 from kenwest/CRM-18449

CRM-18449 prevent fatal error on Update recurring contribution

CRM-18539: Permit criteria for batch merging (other than group)

CRM-18842 Dedupe query: remove OR join in favour of more performant UNION

Unions are much faster than OR joins. This change took the length of the query to get the dedupes on a large database from
'as long as it took for the server to fall over' to less than one second on a small group of contacts

This query is only affecting one path - ie Individuals - at the moment as I can only extend that as fast as I can write tests.

CRM-18480 fix batch merge job to cope with new inability to re-merge deleted contacts

Also, I changed the fatal to an exception - low level functions should throw exceptions, it's up to the form to catch & render those

Merge pull request #8404 from eileenmcnaughton/recur_test

Fix mis-failing test assertion

CRM-18465 add test to check correct setting of token variables.

CRM-18504 fix validation error when contact subtype is disabled

Merge pull request #8122 from JKingsnorth/CRM-18339

CRM-18397: Don't add empty billing name to non-existent billing address

Fix mis-failing test assertion

Merge pull request #8385 from eileenmcnaughton/no_dupe_email

CRM-18546 Duplicate email addresses created when merging in 4.7

Merge pull request #8396 from JMAConsulting/CRM-18406

CRM-18406 Added unit test for activity create/update when contributio…

Merge pull request #8399 from monishdeb/CRM-18406

CRM-18406: minor fix

CRM-18406: minor fix

Merge pull request #8384 from rohankatkar/CRM_18406

CRM-18406: When a contribution is edited it doesn't update the activity to match

CRM-18526: Move upgrade code to 4.7.8