CRM-16642 - Simplify list of smart-group options

Using an option-group takes a lot of work.  Also, it wasn't handling
consistently labels+descriptions (upgrade-vs-new install), and it isn't
really supported in the metadata for Setting API.  And fundamentally this
list is not really editable by users.

 CRM-18568 remove flawed tests.

 After fixing the api to create option groups as enabled parts of this
 test started to fail as it became clear they were only appearing to pass
 (somewhat intermittantly) due to them bypassing checks due to the set up
 issue. This commit disables those parts for now. State province & country
 are
 subject to a caching bug & LIKE on pseudoconstants has issues described
 in CRM-18568

\1a

CRM-16642 - Compute timestamps using 24-hour clock

`Ymdhis` is silly here.  Use `YmdHis`.  This was causing test results to
vary based on they were run.

CRM-16642 - Rename `refreshCache` to `flushCache`

The old name is misleading about the outcome -- it does not end up producing
a 'fresh' cache.  It produces an empty cache.

CRM-16642 add further tests

Change-Id: I0804620359bf594d100ffcf74c638b94b012c584

tidy up constant ref

Change-Id: Ie05c915f9a1841a6faf5654965399b5ed0bf62b6

Add tests for Ensure OptionGroup exists fn & fix optionValueExists to accept ID

The option_group_id field accepts name or id so use that.

CRM-18516 clarify that cache_date & refresh_date can be NULL (ie. when they have not been build).

Arguably refresh_date should be set to 'now' at this point but this doesn't change anything and that logic might be teased out more when we turn out eyes to the rebuild scripts

Fix install portion of new option Group

First caching test:

Change-Id: I2bc8de77ff063605b64042a2ed4dc6d5175e6f5d

Preliminary tidy up on test class

CRM-18516 add job for clearing of caches, separated from the rebuild job

CRM-16642 Switch to opportunisticCacheRefresh calls.

There is one call left to the function called 'remove' which needs a little more consideration

CRM-16642 add setting & functions for opportunistic vs deterministic cache clearing

CRM-18142 fix use of uninidexed TIMESTAMPDIFF function

This removes function comparisons in favour of direct comparisons on cache date functions

CRM-18516 Convert the date fields relating to group caching & acl caching timestamp

Comment fixes & formatting

Merge pull request #8338 from JKingsnorth/CRM-18526

CRM-18526: Fix upgrade code for foreign keys from CRM-18345

Merge pull request #8251 from eileenmcnaughton/merge_tests

Dedupe fixes CRM-18442, CRM-18539,  CRM-18480

Merge pull request #8410 from mollux/CRM-18589

CRM-18589 Drastically reduce memory usage during tests.

Drasticly reduce memory usage during tests.

Merge pull request #8406 from eileenmcnaughton/batch_trxn_id

CRM-17123 - Include Transaction ID in membership bulk entry profile

Merge pull request #8284 from eileenmcnaughton/postal_code

CRM-17118 extend civicrm_address postal_code to accept full data stri…

CRM-17123 - Include Transaction ID in membership bulk entry profile

CRM-17123: add unit test

Merge pull request #8145 from nielosz/master

To check mails for a valid html part strip tags when comparing

Merge pull request #8222 from eileenmcnaughton/CRM-18465

CRM-18465: fully resolve contributions before resolving tokens

Merge pull request #8405 from eileenmcnaughton/custom_data-regress

CRM-18504 fix validation error when contact subtype is disabled

Merge pull request #8189 from kenwest/CRM-18448

CRM-18448 Update recurring contribution - fix Financial Type required error

Merge pull request #8190 from kenwest/CRM-18449

CRM-18449 prevent fatal error on Update recurring contribution

CRM-18539: Permit criteria for batch merging (other than group)

CRM-18842 Dedupe query: remove OR join in favour of more performant UNION

Unions are much faster than OR joins. This change took the length of the query to get the dedupes on a large database from
'as long as it took for the server to fall over' to less than one second on a small group of contacts

This query is only affecting one path - ie Individuals - at the moment as I can only extend that as fast as I can write tests.

CRM-18480 fix batch merge job to cope with new inability to re-merge deleted contacts

Also, I changed the fatal to an exception - low level functions should throw exceptions, it's up to the form to catch & render those

Merge pull request #8404 from eileenmcnaughton/recur_test

Fix mis-failing test assertion

CRM-18465 add test to check correct setting of token variables.

CRM-18504 fix validation error when contact subtype is disabled

Merge pull request #8122 from JKingsnorth/CRM-18339

CRM-18397: Don't add empty billing name to non-existent billing address

Fix mis-failing test assertion

Merge pull request #8385 from eileenmcnaughton/no_dupe_email

CRM-18546 Duplicate email addresses created when merging in 4.7

Merge pull request #8396 from JMAConsulting/CRM-18406

CRM-18406 Added unit test for activity create/update when contributio…

Merge pull request #8399 from monishdeb/CRM-18406

CRM-18406: minor fix

CRM-18406: minor fix

Merge pull request #8384 from rohankatkar/CRM_18406

CRM-18406: When a contribution is edited it doesn't update the activity to match

CRM-18526: Move upgrade code to 4.7.8

Merge pull request #8286 from eileenmcnaughton/report_ui

CRM-18492 Creating a report from 'all reports' put the creator's name…

Merge pull request #8157 from eileenmcnaughton/CRM-18424

CRM-18424 better amount label for repeat transactions

Merge pull request #8394 from yashodha/CRM-18046

CRM-18046: Search link in AB Testing report erroneously requires view…

CRM-18406 Added unit test for activity create/update when contribution is created/updated

----------------------------------------
* CRM-18406: When a contribution is edited it doesn't update the activity to match
  https://issues.civicrm.org/jira/browse/CRM-18406

Merge pull request #8159 from eileenmcnaughton/CRM-18428

CRM-18428 pay later being inappropriately assigned from the contribut…

CRM-18046: Search link in AB Testing report erroneously requires view all contacts permission

----------------------------------------
* CRM-18046: Search link in AB Testing report erroneously requires view all contacts permission
  https://issues.civicrm.org/jira/browse/CRM-18046

Merge pull request #8170 from eileenmcnaughton/activity

CRM-18409 fix inability to view activity if source contact id is dele…

CRM-18492 Creating a report from 'all reports' put the creator's name into the title

CRM-17118 extend civicrm_address postal_code to accept full data strings from paypal etc.

Merge pull request #8386 from monishdeb/CRM-18405

CRM-18405: When creating a contribution in the back-end, total amount  is incorrect

CRM-18409 fix inability to view activity if source contact id is deleted.

This fix adds the ability to access activities through the api with the same permission checks as in the BAO if 'id' is passed in (and contact_id is not for 'supporting legacy stuff reasons').

Note that the api functionality is a good thing, but it is actually being added primarily for the purposes of being able to add a test fix for the change

Merge pull request #8391 from monishdeb/CRM-18467

CRM-18467: Set amount to appear on pay-later receipt

Merge pull request #8389 from eileenmcnaughton/regression

CRM-18504: Fix error in validating sub type by entity

CRM-18504: Fix error in validating sub type by entity

Merge pull request #8390 from davejenx/CRM-18567-master

CRM-18567 - stristr was called with arguments in wrong order, causing…

extended pay later unit test

CRM-18467 Set amount to appear on pay-later receipt

CRM-18567 - stristr was called with arguments in wrong order, causing $subTypes not to be exploded correctly when comma-separated.

Add extra info for the test that showed a fail.

THis is kinda unrelated but if we can make it easier to make sense of or go away .. yay

CRM-18405: When creating a contribution in the back-end, total amount is incorrect

Merge pull request #8387 from eileenmcnaughton/bgm

CRM-18277 : add test & fix for the contact.source field.

Merge pull request #8140 from jitendrapurohit/CRM-18384

CRM-18384 - decode incorrect keys in $_REQUEST, $_GET when & is present in url

CRM-18424 fix recur checkbox issue found in QA.

On digging into it I found the showHideAutoRenew function was robust enough to be called in both a hide & a show situation.

So, yay, further minor simplification

fix enotice

minor fix

CRM-18428 pay later being inappropriately assigned from the contribution page

CRM-18277 : add test & fix for the contact.source field.

NFC Move comments

CRM-18397: Remove unnecessary check and add comments for future changes

CRM-18546 Duplicate email addresses created when merging in 4.7

Test tidy-ups. Bring set up functions more in line with other tests

CRM-18406: When a contribution is edited it doesn't update the activity to match

CRM-18406: Warning Fix

Merge pull request #8365 from saurabhbatra96/CRM-18537

CRM-18537 Correction of State list for Brazil

Merge pull request #8360 from eileenmcnaughton/prev_next

CRM-18517 fix merge code loop

Merge pull request #8270 from monishdeb/CRM-18483

CRM-18483: Paypal payments - Pending (Incomplete Transaction)

Merge pull request #8374 from mollux/CRM-18563_documentation

CRM-18563 Fix missing documentation for new API entities.

Update comments

load bootstrap only for Joomla

CRM-18483: Paypal payments - Pending (Incomplete Transaction)

Merge pull request #8375 from mollux/CRM-18563_example_exception_inconsistent

CRM-18563 Generate the same structure for API success and API failures in the API examples.

Merge pull request #8377 from mollux/CRM-18563_mariadb

CRM-18563 Fix test failure on MariaDB due to default sorting.

Merge pull request #8378 from mollux/CRM-18563_test_output

CRM18563 : Remove/disable obsolete test output. (NFC)

Merge pull request #8299 from totten/master-reltype

civicrm/admin/reltype - Fix warning

Merge pull request #8381 from eileenmcnaughton/tidy

CRM-18564 (NFC) Add comments, underscore in key

missing comma

CRM-18517 add test for aggressive mode batch merge

Change-Id: I198577b3073239b298a47ca6f649f6a6c92dcb13

CRM-18517 get conflicts dependent on mode

CRM-18517 add merge test for when conflict encountered

This test relies on the code loop being fixed

CodeClean - stop mangling orderBy into WHERE

CRM-18517 remove code loop on batch merge process

By constantly reloading conflicts in batch mode we are also reloading conflicted entries. If we process this list until it is empty it will never be empty

CRM-18497 add first very basic test to job.merge

The test doesn't check any functionality, just the fact it runs without error. More to come

Add tests for getDuplicatePairs function

CRM-18443 add unit test & refactor code into smaller function

On starting to dig into the dedupe code I find that there are 2 different paths, one that is used by the batch merge
and one used in other cases. I'm hoping to rationalise that & add testing with the focus being on small refactors + added tests.

I'm less sure about adding an api as I work into the internals here....

Replact duplicate code with a function to calculate the cacheKey

This part of investigation / cleanup for CRM-18443

Merge pull request #8383 from civicrm/revert-5903-master

Revert "Adding jasmine testing across domains"

Revert "Adding jasmine testing across domains"

CRM-18564 (NFC) Add comments, underscore in key