Declaring required as false on timestamp fields causes allow null in new installs

Really this is kind of a GenCode bug - but this works...

Merge pull request #8419 from totten/master-dompdf

CRM-16898 - Restore TreeBuilder. Replace debug call.

CRM-16898 - Replace debug code in html5lib

Revert "CRM-16898. Remove debugging in html5lib."

This reverts commit 693cb3279584278ccbb3eaa1394999c7a69d7bf6.

Merge pull request #8298 from colemanw/CRM-18286

CRM-18286 - Use localStorage to remember datatable page length

Merge pull request #7825 from torrance/editable-button-fix-master

Ensure editable buttons don't sit underneath other page elements.

Merge pull request #8370 from eileenmcnaughton/groups

CRM-16642 group refresh code

Merge pull request #8417 from seamuslee001/CRM-18504-47

CRM-18504 Add test for custom group that extends multiple subtype

Update sql/civicrm_generated.mysql

CRM-16642 - Simplify list of smart-group options

Using an option-group takes a lot of work.  Also, it wasn't handling
consistently labels+descriptions (upgrade-vs-new install), and it isn't
really supported in the metadata for Setting API.  And fundamentally this
list is not really editable by users.

Merge pull request #8415 from monishdeb/CRM-18159

CRM-18159: Mailings does not have an ACL restriction in place

Merge pull request #7587 from totten/master-jobproc-2m

CRM-17629 - JobProcessMailingTest - Test w/mailerBatchLimit & 2x mailings

Merge pull request #8416 from monishdeb/CRM-18322

CRM-18322: notice fix on participant search

Convert test to having multiple custom groups separated by VALUE_SEPARATOR

Fix undefined veriable

additional fixes

CRM-18159 fixed styles issues and moved buildAcl to CRM_ACL_BAO_ACL

Fixed CRM-18159: master branch and  sending test mail to group did not include an acl yet.

Attempt to add test for custom group that extends multiple subtype

CRM-18322: notice fix on participant search

Merge pull request #8366 from kenwest/CRM-18528-b

CRM-18528 Manage Groups search ignores filters

Merge pull request #8349 from rajbdilip/CRM-18324

CRM-18324 - Fix tax divison by zero error on Event Dashboard

 CRM-18568 remove flawed tests.

 After fixing the api to create option groups as enabled parts of this
 test started to fail as it became clear they were only appearing to pass
 (somewhat intermittantly) due to them bypassing checks due to the set up
 issue. This commit disables those parts for now. State province & country
 are
 subject to a caching bug & LIKE on pseudoconstants has issues described
 in CRM-18568

\1a

Merge pull request #8413 from totten/master-ymdhis

Change 12-hour `Ymdhis` to 24-hour `YmdHis`

sql/GenerateReportData.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

sql/GenerateData.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

Civi/Core/SettingsBag.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Utils/Mail/Incoming.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Core/BAO/File.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Core/BAO/CustomGroup.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM/Core/BAO/CustomField.php - Change 12-hour `Ymdhis` to 24-hour `YmdHis`

CRM-16642 - Compute timestamps using 24-hour clock

`Ymdhis` is silly here.  Use `YmdHis`.  This was causing test results to
vary based on they were run.

CRM-16642 - Rename `refreshCache` to `flushCache`

The old name is misleading about the outcome -- it does not end up producing
a 'fresh' cache.  It produces an empty cache.

CRM-16642 add further tests

Change-Id: I0804620359bf594d100ffcf74c638b94b012c584

tidy up constant ref

Change-Id: Ie05c915f9a1841a6faf5654965399b5ed0bf62b6

Add tests for Ensure OptionGroup exists fn & fix optionValueExists to accept ID

The option_group_id field accepts name or id so use that.

CRM-18516 clarify that cache_date & refresh_date can be NULL (ie. when they have not been build).

Arguably refresh_date should be set to 'now' at this point but this doesn't change anything and that logic might be teased out more when we turn out eyes to the rebuild scripts

Fix install portion of new option Group

First caching test:

Change-Id: I2bc8de77ff063605b64042a2ed4dc6d5175e6f5d

Preliminary tidy up on test class

CRM-18516 add job for clearing of caches, separated from the rebuild job

CRM-16642 Switch to opportunisticCacheRefresh calls.

There is one call left to the function called 'remove' which needs a little more consideration

CRM-16642 add setting & functions for opportunistic vs deterministic cache clearing

CRM-18142 fix use of uninidexed TIMESTAMPDIFF function

This removes function comparisons in favour of direct comparisons on cache date functions

CRM-18516 Convert the date fields relating to group caching & acl caching timestamp

Comment fixes & formatting

Merge pull request #8338 from JKingsnorth/CRM-18526

CRM-18526: Fix upgrade code for foreign keys from CRM-18345

Merge pull request #8251 from eileenmcnaughton/merge_tests

Dedupe fixes CRM-18442, CRM-18539,  CRM-18480

Merge pull request #8410 from mollux/CRM-18589

CRM-18589 Drastically reduce memory usage during tests.

Drasticly reduce memory usage during tests.

Merge pull request #8406 from eileenmcnaughton/batch_trxn_id

CRM-17123 - Include Transaction ID in membership bulk entry profile

Merge pull request #8284 from eileenmcnaughton/postal_code

CRM-17118 extend civicrm_address postal_code to accept full data stri…

CRM-17123 - Include Transaction ID in membership bulk entry profile

CRM-17123: add unit test

Merge pull request #8145 from nielosz/master

To check mails for a valid html part strip tags when comparing

Merge pull request #8222 from eileenmcnaughton/CRM-18465

CRM-18465: fully resolve contributions before resolving tokens

Merge pull request #8405 from eileenmcnaughton/custom_data-regress

CRM-18504 fix validation error when contact subtype is disabled

Merge pull request #8189 from kenwest/CRM-18448

CRM-18448 Update recurring contribution - fix Financial Type required error

Merge pull request #8190 from kenwest/CRM-18449

CRM-18449 prevent fatal error on Update recurring contribution

CRM-18539: Permit criteria for batch merging (other than group)

CRM-18842 Dedupe query: remove OR join in favour of more performant UNION

Unions are much faster than OR joins. This change took the length of the query to get the dedupes on a large database from
'as long as it took for the server to fall over' to less than one second on a small group of contacts

This query is only affecting one path - ie Individuals - at the moment as I can only extend that as fast as I can write tests.

CRM-18480 fix batch merge job to cope with new inability to re-merge deleted contacts

Also, I changed the fatal to an exception - low level functions should throw exceptions, it's up to the form to catch & render those

Merge pull request #8404 from eileenmcnaughton/recur_test

Fix mis-failing test assertion

CRM-18465 add test to check correct setting of token variables.

CRM-18504 fix validation error when contact subtype is disabled

Merge pull request #8122 from JKingsnorth/CRM-18339

CRM-18397: Don't add empty billing name to non-existent billing address

Fix mis-failing test assertion

Merge pull request #8385 from eileenmcnaughton/no_dupe_email

CRM-18546 Duplicate email addresses created when merging in 4.7

Merge pull request #8396 from JMAConsulting/CRM-18406

CRM-18406 Added unit test for activity create/update when contributio…

Merge pull request #8399 from monishdeb/CRM-18406

CRM-18406: minor fix

CRM-18406: minor fix

Merge pull request #8384 from rohankatkar/CRM_18406

CRM-18406: When a contribution is edited it doesn't update the activity to match

CRM-18526: Move upgrade code to 4.7.8

Merge pull request #8286 from eileenmcnaughton/report_ui

CRM-18492 Creating a report from 'all reports' put the creator's name…

Merge pull request #8157 from eileenmcnaughton/CRM-18424

CRM-18424 better amount label for repeat transactions

Merge pull request #8394 from yashodha/CRM-18046

CRM-18046: Search link in AB Testing report erroneously requires view…

CRM-18406 Added unit test for activity create/update when contribution is created/updated

----------------------------------------
* CRM-18406: When a contribution is edited it doesn't update the activity to match
  https://issues.civicrm.org/jira/browse/CRM-18406

Merge pull request #8159 from eileenmcnaughton/CRM-18428

CRM-18428 pay later being inappropriately assigned from the contribut…

CRM-18046: Search link in AB Testing report erroneously requires view all contacts permission

----------------------------------------
* CRM-18046: Search link in AB Testing report erroneously requires view all contacts permission
  https://issues.civicrm.org/jira/browse/CRM-18046

Merge pull request #8170 from eileenmcnaughton/activity

CRM-18409 fix inability to view activity if source contact id is dele…

CRM-18492 Creating a report from 'all reports' put the creator's name into the title

CRM-17118 extend civicrm_address postal_code to accept full data strings from paypal etc.

Merge pull request #8386 from monishdeb/CRM-18405

CRM-18405: When creating a contribution in the back-end, total amount  is incorrect

CRM-18409 fix inability to view activity if source contact id is deleted.

This fix adds the ability to access activities through the api with the same permission checks as in the BAO if 'id' is passed in (and contact_id is not for 'supporting legacy stuff reasons').

Note that the api functionality is a good thing, but it is actually being added primarily for the purposes of being able to add a test fix for the change

Merge pull request #8391 from monishdeb/CRM-18467

CRM-18467: Set amount to appear on pay-later receipt

Merge pull request #8389 from eileenmcnaughton/regression

CRM-18504: Fix error in validating sub type by entity

CRM-18504: Fix error in validating sub type by entity

Merge pull request #8390 from davejenx/CRM-18567-master

CRM-18567 - stristr was called with arguments in wrong order, causing…

extended pay later unit test

CRM-18467 Set amount to appear on pay-later receipt

CRM-18567 - stristr was called with arguments in wrong order, causing $subTypes not to be exploded correctly when comma-separated.

Add extra info for the test that showed a fail.

THis is kinda unrelated but if we can make it easier to make sense of or go away .. yay

CRM-18405: When creating a contribution in the back-end, total amount is incorrect

Merge pull request #8387 from eileenmcnaughton/bgm

CRM-18277 : add test & fix for the contact.source field.

Merge pull request #8140 from jitendrapurohit/CRM-18384

CRM-18384 - decode incorrect keys in $_REQUEST, $_GET when & is present in url

CRM-18424 fix recur checkbox issue found in QA.

On digging into it I found the showHideAutoRenew function was robust enough to be called in both a hide & a show situation.

So, yay, further minor simplification

fix enotice

minor fix

CRM-18428 pay later being inappropriately assigned from the contribution page

CRM-18277 : add test & fix for the contact.source field.