Merge pull request #12479 from eileenmcnaughton/export_class

Export class code cleanup Start building export processor class.

Start building export processor class.

A fundamental cause of code mess in the Export class is that it is a mishmash of static functions with variables passed around crazily. This starts the process of moving work to a object oriented class.

I think this migratory approach is the best plan to clean up the code

I did move some vars to being accessed via 'self' but there is leakage across tests so going
full OOO seems like a better approach

Merge pull request #12453 from eileenmcnaughton/activity_report

Fix activity report to bring it under standardised report testing

Alter temp report creation to
a) use new temp table mechanism and
b) add sql to dev tab and
c) make temp table cleanup easier in tests

Fix activity report to bring it under standardised report testing

Merge pull request #12423 from mattwire/optiongroup_isreserved

dev/core#155 Fix optiongroup is_reserved data and use when selecting option group for custom fields

Merge pull request #12474 from mattwire/deprecate_bao_managepremiums

Rename CRM_Contribute_BAO_ManagePremiums to CRM_Contribute_BAO_Product and deprecate CRM_Contribute_BAO_ManagePremiums

Merge pull request #12352 from MiyaNoctem/CRM-188-fix-floating-point-comparison

dev/core#188: Fix Floating Point Precision Comparison Exception

Merge pull request #12315 from mattwire/CRM-21682_onlyrenewmembershipwhencompleted

Only auto-renew membership when contribution status is completed

Merge pull request #12477 from seamuslee001/membership_type_test_comment

(NFC) Update comment on membership type domain_id API Test

Merge pull request #12478 from seamuslee001/optiongroup_regen_dao

(NFC) Regenerate OptionGroup DAO file

Merge pull request #12476 from colemanw/navigation

BAO_Navigation: Respect domain_id param

Add test, remove redundant api default

Add unit test for Membership renewal when contribution not completed

Don't overwrite Product parameters on update

Only auto-renew membership when contribution status is completed

Merge pull request #12312 from colemanw/multiRecordCustomProfile

Disable inline-edit of multi-record custom fields in profiles

(NFC) Regenerate OptionGroup DAO file

(NFC) Update comment on membership type domain_id API Test

BAO_Navigation: Respect domain_id param

Merge pull request #12461 from eileenmcnaughton/domain_id

Make domain_id optional in membership_type api.

Merge pull request #12472 from eileenmcnaughton/add_product

Remove unused variables & comment cleanup

Rename CRM_Contribute_BAO_ManagePremiums to CRM_Contribute_BAO_Product and deprecate CRM_Contribute_BAO_ManagePremiums

Fix is_reserved flag on option groups

Comment clean up

Remove redundant variables

Merge pull request #12464 from jaapjansma/issue_141

Fixed #141: only check if name exists.

Merge pull request #12465 from WeMoveEU/core-256

dev/core#256 - use unsigned int for temporary recipient ids

Merge pull request #12320 from mattwire/export_form_select_tweaks

Non functional changes towards shared functions in Core_Form_Task

dev/core#256 - use unsigned int for temporary recipient ids

CRM-188: Fix Floating Point Precision Comparison Exception

Under certain circumstances, floating point comparison between set and
calculated values may fail, even if they should be equal. This is due to the
way floating point values are represented internally in binary form. To avoid
this problem, comparison needs to be made using an expected precision below
which compared values may be treated as equal. Implemented  precision of 0.001
and used it to check the difference between both values is less.

Merge pull request #12290 from eileenmcnaughton/export

Export class code readability - Reduce passing of variable, define on class

Merge pull request #12462 from seamuslee001/nfc_kamra_cv

(NFC) Ignore generated karma.cv.js file

Fixed #141: only check if name exists.

(NFC) Ignore generated karma.cv.js file

Ingore /tmp as per tim

Make domain_id optional in membership_type api.

This is in support of #12439 & making domain_id optional

Merge pull request #12456 from chamilwijesooriya/issue-93

Issue #93 Update CRM_Utils_Rule::mysqlOrderBy() to accommodate more than 2 joins

Merge pull request #10673 from JMAConsulting/CRM-20845

CRM-20845: create alterMailingRecipients hook

Merge pull request #11838 from mfb/ses-smtp-support

CiviMail: Fix logic for handling SMTP socket errors, temporary failures and permanent failures

Merge pull request #12346 from michaelmcandrew/dev/mail/15

dev/mail/15 deal better with spaces in from email address

Merge pull request #12449 from colemanw/gettree

CustomValue gettree api - More accurate permission check

Merge pull request #12436 from mattwire/financial_type_pseudoconstant

dev/core#241 Fix Manage Premiums UI

Merge pull request #12459 from yashodha/dev-255

(dev/core#255) Changes to copied event location reflects in original …

(dev/core#255) Changes to copied event location reflects in original event location

Fixed errors: "Failure in api call for Country get:  Unknown field specified for sort. Cannot order by ''id DESC''"

Merge pull request #12458 from mlutfy/pricefield-isset

PriceField: show pre/post help if not empty, not if isset.

PriceField: show pre/post help if not empty, not if isset.

Merge pull request #12451 from eileenmcnaughton/premiums

Deprecate  array on ManagePremiums

Issue #93 Update CRM_Utils_Rule::mysqlOrderBy() to accommodate more than 2 joins

Switch to API and get all option groups that are not reserved instead of only ones that are already linked to custom fields

Don't reset financial type every time product is edited

Enable pseudoconstant for financial_type and use it to display financial type for premiums. Add "cost" column to premium UI and properly format money

Merge pull request #12450 from eileenmcnaughton/comments

[NFC] Comment fixes

Merge pull request #12392 from madhavimalgaonkar/issue-221

dev/core#221, check if the grouptree is not empty

Comment fixes

Deprecate  array on ManagePremiums

Merge pull request #12448 from civicrm/5.4

5.4

Merge pull request #12410 from eileenmcnaughton/option_group

dev/core/issues/228 fix OptionGroup create action to not disable on update

CustomValue gettree api - More accurate permission check

Merge pull request #12373 from JMAConsulting/access-3-contact-dash

dev/accessibility#3: Add accessible label on Contact Edit form elements and helpicon

Disable inline-edit of multi-record custom fields in profiles

Merge pull request #12447 from mattwire/allcontactexport_regression

dev/core#249 Fix crash when performing export all contacts from search

Fix crash when performing export all contacts from search

Merge pull request #12445 from MiyaNoctem/CRM-21425-make-inbound-emails-editable-try-2

CRM-21425: Make Inbound Emails Editable With Permissions

Merge pull request #12384 from JMAConsulting/dev-core-218

dev/core#218 : On Case Type listing page, for reserved ones the, 'More' link don't show any options

Non functional changes towards shared functions in Core_Form_Task

Merge pull request #12442 from colemanw/crmeditable.tpl

Remove old deprecated crmeditable.tpl

Merge pull request #12443 from colemanw/empty

Fix potential undefined array index

Merge pull request #12438 from totten/master-contact-sel

(dev/core#217) CRM_Contact_Selector::getRows() - Use generator instead of DAO loop

CRM-21425: Fix 'Array' Appearing Insted of Empty Details

When having only basic access to edit inbound e-mails, if the task's details
are null, an message saying 'Array' was being shown, instead of the empty
details.

Fixed by changing null for an empty string.

CRM-21425: Allow to Edit Inbound E-mails Within CiviCase

Civicase used the activity's detail view form to show the detail for the
activity and the edit and delete buttons, but the preprocessing lacked setting
the required flags so the form buttons were shown.

Fixed by setting the required flags and refactoring the new permissions check
into the Activity BAO.

CRM-21425: Add Permissions to Edit Inbound E-mails

The following permissions were added to CiviCRM core:

- CiviCRM: edit inbound email basic information
- CiviCRM: edit inbound email basic information and content

Having any of these permissions will alow  user to edit inbound E-mails, but
only the latter will allow users to also change the original email's content.

E-mails downloaded and stored as Inbound Email activities were saving their
details in two formats, as an ezComponents-parsed representation of
a text with alternatives. These alternatives were being stripped on the
Activity Form template, with the side effect of also stripping the textarea
where the wysiwyg editor would be built upon.

Fixed by stripping alternatives when preprocessing the quickform instead,
before the html for the textarea is generated.

Fix potential undefined array index

Remove old deprecated crmeditable.tpl

Merge pull request #12441 from totten/master-sql-del

Implement CRM_Utils_SQL_Delete

Implement CRM_Utils_SQL_Delete

Before
------
* `CRM_Utils_SQL_Select` and `CRM_Utils_SQL_Insert` are query-building utilities.

After
-----
* `CRM_Utils_SQL_Select`, `CRM_Utils_SQL_Insert`, and `CRM_Utils_SQL_Delete` are query-building utilities.
* `CRM_Utils_SQL_Select` and `CRM_Utils_SQL_Delete` extend a common base-class, which includes parameter-management/interpolation functions.
    * (*Note: Initially tried doing this as a trait, but traits aren't allowed to define constants.*)

(dev/core#217) CRM_Contact_Selector::getRows() - Use generator instead of DAO loop

Currently, cached data is read from MySQL, so it's OK to treat `$result` as
DAO.  However, eventually, we'll cache in a different data-source, and (when
dealing with multiple backend) it'll be easier to support a
`Generator<Object>` rather than `CRM_Core_DAO`.

See also: http://php.net/manual/en/language.generators.overview.php

(dev/core#217) CRM_Core_DAO - Add a helper which returns results in generator format

dev/core/issues/228 fix OptionGroup create action to not disable on update

Merge pull request #12430 from JMAConsulting/dev-core-239

dev/core#239 : Fix title dialog box on hovering form element on Event's configuration backend form

Merge pull request #12422 from JMAConsulting/dev-core-176

dev/core#176 Odd / Even street number sort column missing from Reports

Merge pull request #12429 from eileenmcnaughton/comment

[NFC] Update comment link

dev/core#239 : Huge title dialog box on hovering form element on Event's configuration backend form

Update code link

Merge pull request #12427 from totten/5.4-sqlgroup-ttl-1

(dev/core#174) CRM_Utils_Cache_SqlGroup - Refine trivial TTL handling to stabilize tests

Merge pull request #12428 from civicrm/5.4

5.4

add test for CRM_Mailing_BAO_MailingJob

Merge pull request #12417 from aydun/core_124_template_upgrade

Follow up to PR 12160 to update the DB version of the templates

Merge pull request #12426 from totten/master-container-cache

Change default for CIVICRM_CONTAINER_CACHE to simplify admin/developer experience

Merge pull request #12425 from seamuslee001/5_3_alpha1_fix

Ensure db updates are run for 5.3.alpha1

(dev/core#174) CRM_Utils_Cache_SqlGroup - Refine trivial TTL handling to stabilize tests

Since incorporting `E2E_Cache_SqlGroupTest`, we've observed periodic flakiness in some
of the test-runs around code like this:

```php
  $cache->set("key", "value", 1);
  $get = $cache->get("key");
```

This makes the tests more reliable by refining the way `SqlGroup` handles trivially short TTLs.

Before
----------------------------------------
Cache items with `$ttl=1` may be expired before you ever get a chance to read them.

After
----------------------------------------
Cache items with `$ttl=1` may sometimes last slightly longer than a second
(if recorded late in the clock's current second), which improves the odds that
you'll be able to read the cache.

Technical Details
----------------------------------------
To reproduce the problem, run this script a few times via `cv scr`:

```php
<?php
$cache = CRM_Utils_Cache::create([
  'name' => 'tmp-cache',
  'type' => ['SqlGroup']
]);

for ($i = 0; $i < 500; $i++) {
  $cache->set("foo_$i", 'hi', 1);
  $get = $cache->get("foo_$i");
  if ($get !== 'hi') {
    echo "miss! ($i)\n";
  } else {
    echo ".";
  }
}
```

Given that `$cache->set()` and `$cache->get()` are right next to each other,
you would expect (and the test authors did evidently expect) that cache would be valid
long enough to read content. And yet we periodically have a cache-miss (particularly with
`SqlGroup`, which is a bit slower to handle writes).

For example, suppose `microtime()===100.95`.  If you compute expiration as
`$expires=time()+$ttl`, then `$expires===101`.  However, this means that
the cache's effective validity period is more like `~0.05` seconds rather
than a full second.

A more correct solution would be to track expiration times as microseconds.
However, that's a bigger patch, and we don't really need that level of
precision -- typical TTLs for us are more like "a week" or "a day" or "an
hour" or *maybe* "a minute".  The `$ttl=1` is a trivial scenario that only
makes sense for unit-testing.

This patch just rounds up the calculation of `$expires` -- in our
hypothetical at `microtime()===100.95`, that makes `$expires===102` and an
effective validity period of `~1.05` seconds.

Merge pull request #12412 from eileenmcnaughton/conformance

Enable syntaxConformance on entities that now succeed

Merge pull request #12406 from jitendrapurohit/core-212

dev/core#212 - Contribution Details report fails when 'Is not one of'…

Merge pull request #12414 from eileenmcnaughton/option_value

Simplify input params on OptionValue::addOptionValue

Change default for CIVICRM_CONTAINER_CACHE to simplify admin/developer experience

In discussion of cache-related PRs for Civi 5.3, there were a few
reports/issues from developers observing `ServiceNotFoundException`.  This
is because there's not much awareness about how service-definitions are
cached.  It shouldn't be a significant issue for production systems running
vanilla code, but for admins and developers (who juggle patches/branches),
it can cause confusion/support-issues/false-failures.  This PR aims to
reduce those.

(This is a follow-up/substitute for #12401.)

Before
------
* The default value of `CIVICRM_CONTAINER_CACHE` is `always`.

After
-----
* The default value of `CIVICRM_CONTAINER_CACHE` is `auto`.

Technical Details
-----------------
The Symfony container essentially stores a list of "services".  In some
Symfony-based apps, building the list of services can be time consuming, so
it's common to cache this.

In Civi, this cache physically appears as
`files/civicrm/templates_c/CachedCiviContainer.*.php`.  The constant
`CIVICRM_CONTAINER_CACHE` determines how Civi manages the cache.  There are
three available policies:

* `never`: This means we never use the cache.  You never have to worry about
  staleness.  But it means we have to fire `hook_civicrm_container` on every
  page-request, and we go through any container-compilation tasks.
  This would have the fewest support-issues for devs and advanced admins.

* `always`: This means we always use whatever is in the cache.  It never
  (automatically) rebuilds the cache or checks freshness...  if you make
  change, then you must flush the cache explicitly.  This should be the
  fastest in production.

* `auto`: This means we typically use the cache (avoiding
  hooks/recompilation), but it has to `stat()` a half-dozen files to check
  the modification time.  (To wit: if the timestamp on
  `Civi/Core/Container.php` changes, then we discard the cache.)

Since performance is a consideration, I did some light benchmarking on my
laptop (fetching a basic public Civi page 100 times across 3 threads).

https://gist.github.com/totten/ec4bffd723afb7967aec56a3040b9ca3

In these results, the `never` policy appears to be ~15-20ms slower than
`auto` or `always`. `auto` is only ~2ms slower than `always`.

The other consideration is accuracy -- `auto` will usually re-compile if you
make a change, but there are some edge-cases where you must still flush
manually.  (In particular -- when you first implement
`hook_civicrm_container` in a new extension, it might not be aware of the
new extension.  And extensions need to call `$container->addResource()`.)

However, overall, `auto` is a pretty good compromise that's almost as fast
you can get and works out-of-the-box for many dev/admin scenarios.

Ensure db updates are run for 5.3.alpha1

Merge pull request #12418 from eileenmcnaughton/totten

CRM_Core_BAO_PrevNextCache - Remove unused buildSelectedContactPager()

dev/core#212 - Contribution Details report fails when 'Is not one of' condition is used for Groups field

dev/core#176 Odd / Even street number filter missing from Reports

CRM_Core_BAO_PrevNextCache - Remove unused buildSelectedContactPager()

This does not appear to be used anywhere (based on grepping universe).