Merge pull request #9892 from totten/master-depr

MailingGroup API - Tighten up deprecations

MailingGroup API - Tighten up deprecations

The `MailingGroup.php` includes some very different APIs, e.g.
 * Several 'event'(subscribue/resubscribe) APIs
 * Some CRUD APIs for mailing data

The deprecation applies to the 'event' (subscribe/resubscribe) APIs --
because those can be done another way.  However, the CRUD for `MailingGroup`
records is the only way to do access that data.

Merge pull request #9885 from eileenmcnaughton/search

CRM-19815, CRM-19830 make pseudoconstant handling more generic in order to improve performance

Towards CRM-19815 make pseudoconstant handling more generic.

Using metadata pseudoconstants we can remove joins on the option_value table, which hur performance. This patch
only opens it up within the context of the Contact table. It is intended to open the code up to
allow us to extend the performance advantage of dropping the bad join to other entities.

The following fields have metadata links to the
option_value table:
 gender_id
 prefix_id
 suffix_id
 preferred_communication_method
 communication_style_id
 preferred_language

The general pattern for the api is to return (eg) communication_style_id = 1, communication_style = 'Formal', where communication_style is the db name of the option group for communication_style_id.

preferred_communication_method is the exception. For api calls it returns an array of ids like all other api calls.
However, it returns a string of names for non-api calls on that field, allowing us to avoid handling it in a number of other places.

I added tests to ensure no change on the api inputs & outputs and searched these fields through search builder & advanced
search + export. I also checked profile search listings. They are not using the convert routine & have some e-notices that
pre-existed, but no regression I could see.

Merge pull request #9887 from JKingsnorth/CRM-20170

CRM-20170 Fix participant count in summary report for free events

Merge pull request #9884 from seamuslee001/CRM-20144-examples

CRM-20144 (NFC) Update tests and example

CRM-20170 Fix participant count in summary report for free events

Revert changes to test and re-generate example from better test

CRM-20144 (NFC) Update tests and example

Merge pull request #9867 from seamuslee001/CRM-20144

CRM-20144 Fix contact.get api break where groups no longer returned i…

Merge pull request #9876 from JMAConsulting/CRM-20158

CRM-20158, added card_type and pan_truncation field

Merge pull request #9882 from colemanw/Display

Display error message for activity processing

Merge pull request #9883 from colemanw/ApiExplorer

ApiExplorer - Fix js error

ApiExplorer - Fix js error

Display error message for activity processing

Fix legacy test

Add support for some legacy handling of group param as well that maybe out in the wild

CRM-20158, added card_type and pan_truncation field

----------------------------------------
* CRM-20158: Store card type and last 4 digits of credit card
  https://issues.civicrm.org/jira/browse/CRM-20158

Merge pull request #9871 from eileenmcnaughton/rev

More test output on intermittant error

Add delay in test to resolve concurrent changes

Tidy up checks as per discussion with Eileen and add new test of array format

Fix up re-setting of the  array in the OIK format

CRM-20144 move special handling to API layer from BAO

remove accidentally generated files

CRM-20144 Fix contact.get api break where groups no longer returned if using title in params

Merge pull request #9862 from eileenmcnaughton/rev

CRM-20061 Add tables as a parameter on the revert api

CRM-20061 Add tables as a parameter on the revert api

Merge pull request #9459 from colemanw/CRM-19693

CRM-19693 - Don't show options for disabled components

Merge pull request #9858 from ajdavis/paypal-ipn-business-name

CRM-20048 Parse "business" not "receiver_email" from IPN

Merge pull request #9844 from colemanw/CRM-20034

CRM-20034 - CRM-20034 - Support OR grouping of api get params

Merge pull request #9856 from seamuslee001/CRM-19657-2

CRM-19657 Fall back to system wide information if no default from email can be …

Merge pull request #9770 from seamuslee001/CRM-19960

CRM-19960 Hide page title when is supposed to be removed

CRM-20048 Parse "business" not "receiver_email" from IPN

CRM-19816 - Support activity tag joins and activity attachments

Fall back to system wide information if no default from email can be found and no contribution page can be used and no receipt from is passed in and add test to prove it

Merge pull request #9853 from eileenmcnaughton/cont_test

Remove mispelt param.

Remove mispelt param.

Fixing this upsets test, because it should be calculated so trying removal against tests

Merge pull request #9808 from seamuslee001/CRM-19972

CRM-19972 Add in post upgrade message about the addition of manage ta…

Merge pull request #9833 from francescbassas/patch-9

CRM-20013 Localization for participant status on Event Income Report …

Merge pull request #9823 from JKingsnorth/CRM-19999

CRM-19999 Soften event error message on registration

CRM-19999 Soften event error message on registration

Merge pull request #9842 from seamuslee001/CRM-19657

CRM-19657 Try to use domain from email rather than user email for from address …

Merge pull request #9846 from eileenmcnaughton/performance2

CRM-19184 remove old old old suppress group functionality by defining…

CRM-19657 Fix issue where domain address wasn't being used for recurring contribution emails but logged in was.

Merge pull request #9845 from eileenmcnaughton/cust_date_under

[NFC] Date metadata fixes towards CRM-19490, CRM-18387, CRM-20012, CRM-20011, CRM-15948, CRM-19911

CRM-19184 remove old old old suppress group functionality by defining 'CIVICRM_GROUPTREE'

Merge pull request #9807 from eileenmcnaughton/perf

CRM-19934 improvement on acl cache.

API Explorer - add icons to tabs

CRM-20034 - Expose OR grouping to api explorer

[NFC] towards CRM-19840 & others, load date metadata for custom & core profile fields.

This is further NFC change towards CRM-19840 and a range of other date fixes. It ensures that date data is available on date fields
allowing us to reduce code elsewhere

CRM-20034 - Support OR grouping of api get params

[NFC] towards CRM-19840 & others, load more useful metadata.

The importable fields function is not returning all possibly useful fields, it is filtering them by criteria that are
a bit unreliable. They are not being used here for filtering so we should get the full library in all cases.

[NFC] towards CRM-19840 & other date fixes.

Enhance the information available about dates. Based on the date format a format string in php and in 'our posix' should be returned.
(as long as we set the context to 'input' our of cautiousness. min & max year should be calculated for all types, not just credit cards

Merge pull request #9843 from eileenmcnaughton/test_clean

[NFC] towards CRM-19490 - code cleanup only.

Merge pull request #9841 from colemanw/CRM-19816

CRM-19816 - Improved activity api params

[NFC] towards CRM-19490 - code cleanup only.

Removing unused variables & a bit of cruft in the test

CRM-19816 - Retrieve activity tags

API Explorer: Don't show non-joinable fields as joinable

CRM-19816 - Standardize contact_id field in activity api

Merge pull request #9837 from eileenmcnaughton/bounce

CRM-20016 Add tests for bounce processor job & fix mysql error

Fix Operator

Merge pull request #9838 from JMAConsulting/CRM-20022

CRM-20022 IIDA-58 Added Batch Title to columns, grouping and filter

CRM-16189 IIDA-58 Added Batch Title to columns, grouping and filter

----------------------------------------
* CRM-16189: Improve support for Accrual Method bookkeeping
  https://issues.civicrm.org/jira/browse/CRM-16189

CRM-16189-44 Changes to filters, group bys

CRM-16189 IIDA-58 Prevented loading all batches for report

----------------------------------------
* CRM-16189: Improve support for Accrual Method bookkeeping
  https://issues.civicrm.org/jira/browse/CRM-16189

CRM-20016 fix mysql error on processing bounces

Merge pull request #8548 from fuzionnz/CRM-18811

CRM-18811: Permit spaces in table and column aliases.

CRM-20016 preliminary work - add basis for unit testing and failing unit test.

In writing the test I identified the transation was not rolling back due
to the api not following our crud format. I fixed it to 'fail' because
we should not be passing despite mysql errors & ... we should fix the errors...

The BAO code in fact holds transaction handling to ensure that a fail causes a fail - but
we were bypassing it without passing in the 'is_transactional' param.

Merge pull request #9829 from h-c-c/CRM-20010

CRM-20010 period_type should be required for parity with UI

Merge pull request #9834 from lcdservices/CRM-20015

CRM-20015 escape output before generating docx

Merge pull request #9774 from JMAConsulting/CRM-19964

CRM-19964 Event registration creates contribution without line item

CRM-20015 fix constant case

CRM-20010 period_type should be required for parity with UI

Merge pull request #9831 from yashodha/CRM-19982

CRM-19982: Can't enter dates in 4.7.16. Can only enter characters in …

Merge pull request #9832 from yashodha/CRM-19950

CRM-19950 - more clean up

CRM-20015 escape output before generating docx

CRM-20013 Localization for participant status on Event Income Report (Summary)

CRM-19950 - more clean up

CRM-19982: Can't enter dates in 4.7.16. Can only enter characters in word birth

Merge pull request #9826 from seamuslee001/CRM-20007

CRM-20007 Add test to prove that repeatTransaction does not use the P…

Merge pull request #9830 from eileenmcnaughton/cust_date_nfc

[nfc] refactoring towards CRM-19490

Minor test tidy up

e-notice fix

CRM-19490 Use fields.tpl for common code.

The preview.tpl should leverage other profile rendering of fields rather than being copy & paste. This allows the date changes to filter through. I have sacrificed the table for this - but we are ditching table somewhat. Arguably we should change the container id to crm-container in
order to get a more front-end visual of the fields.

CRM-19490 use clear variable name rather than 'n'

CRM-19490 Extract fields iteration to re-use it from preview.tpl

CRM-20007 Fix issue where contribution not getting correct payment instrument set

Set original contribution to be paid by Debit Card as well to prove that its using default payment instrument

CRM-20007 Add test to prove that repeatTransaction does not use the Payment Procesors Payment Instrument when creating contributions

Merge pull request #9816 from yashodha/CRM-19883

CRM-19883 - fix display in report rows

Merge pull request #9810 from yashodha/CRM-19950

CRM-19950 : Wrong param passed to checkPermission function

CRM-19883 - fix display in report rows

CRM-19950 : Wrong param passed to checkPermission function

Merge remote-tracking branch 'origin/4.7.16-rc' into master-4716

CRM-19972 Add in post upgrade message about the addition of manage tags permission

CRM-19934 improvement on acl cache.

This change means that when we are checking the allow function we do not add the harmful
OR to the query.

The 'view my contact' & 'edit my contact' permissions have already been checked for.

Adding them into the ACL query with an OR causes serious performance issues, as
elsewhere commented. We can & should avoid it here

Merge pull request #9679 from seamuslee001/CRM-18464

CRM-18464 use safe drop foreign key function to resolve upgrade error…

Merge pull request #9797 from seamuslee001/CRM-19979

CRM-19979 Fix issue where contacts cannot be removed from group or deleted if in status of pending

Merge pull request #9805 from civicrm/eileenmcnaughton-patch-1

I have added myself a second time - under WMF

I have added myself a second time - under WMF

I think it is appropriate that WMF get credit for the fixes I do while working for them

Merge pull request #9803 from agh1/release-notes-4.7.16-pr2

Release notes 4.7.16 (rest of 'em)

4.7.16 release notes: indent header

4.7.16 release notes: finished descriptions