Merge pull request #14728 from eileenmcnaughton/last_icing

[REF] final cleanup - call bulkCreate from migrate_utils

Merge pull request #14800 from colemanw/mapperKeys

[REF] [EXPORT] Alter CRM_Export_BAO_Export::exportComponents

Merge pull request #13487 from giant-rabbit/17880-after-first-reminder-for-membership-fix

(dev/core#285) Fixed second membership reminder

Merge pull request #14803 from eileenmcnaughton/ex5

[REF] [Export] move build master copy array to ExportProcessor

Alter CRM_Export_BAO_Export::exportComponents to accept standard MappingField format

Merge pull request #14804 from eileenmcnaughton/eee

[REF] [Export] Remove code that seems unused

Merge pull request #14802 from eileenmcnaughton/ex4

[REF] [Export] Move setting of household properties to processor

Merge pull request #14805 from civicrm/5.16

5.16 to master

Merge pull request #14789 from seamuslee001/fast_array_caches

Ensure recently converted groups cache matches previous behabiour my …

[REF] [Export] Remove code that seems unused

I can't find any evidence of this code being re-refenced. We DO reference a similar one for merge_same_address

Merge pull request #14801 from eileenmcnaughton/ee

[REF] [Export] Minor code relocation

[REF] [Export] move build master copy array to ExportProcessor

Merge pull request #14799 from eileenmcnaughton/move_ex

[REF] [Export] Move replace merge tokens to processor class

Move setting of household properties to processor

Minor code relocation

n

Merge pull request #14795 from eileenmcnaughton/ex

[REF] [EXPORT] Stop passing return Properties

Move replace merge tokens to processor class

Stop passing return Properties

Merge pull request #14797 from eileenmcnaughton/ex_address

[REF] [Export] Move function that parses tokens to address processor

[REF] final cleanup - call bulkCreate from migrate_utils

This has a test CRM_Utils_Migrate_ImportExportTest although I had trouble running it without switching to
some hard-coding (at least in isolation). This switches the existing bulk create action over to use bulkCreate

Merge pull request #14796 from eileenmcnaughton/ex2

[REF] [EXPORT] Minor consolidation of weird mergeSameAddreess nightmare code

Merge pull request #14694 from eileenmcnaughton/cust_field_bulk

dev/core#1093 add a bulkCreate action for many customFields in one go

[REF] [Export] Move function that parses tokens to address processor

Minor consolidation of weird mergeSameAddreess nightmare code

Merge pull request #14794 from colemanw/select2map

Use select2 to display field mappings

Merge pull request #14790 from eileenmcnaughton/post

[REF] [EXPORT] cleanup setting of additional postal fields

Merge pull request #14792 from eileenmcnaughton/ex_x

[REF] [EXPORT] [TLA] Update handling of input fields so that the mapping format is accepted.

Use select2 to display field mappings

Update handling of input fields so that the mapping format is accepted.

At this point we are converting to the mapping format AFTEr the function receives the fields but
changing that is the next step

Merge pull request #14787 from eileenmcnaughton/ex1

[REF][Export] Minor cleanup on household merge properties

Ensure recently converted groups cache matches previous behabiour my setting withArray as fast for it

Add in code comment as per Eileen

dev/core#1093 add a bulkSave action for many customFields in one go

Add bulkCreate function for CustomField with a view towards this being a new protocol for how bulk create actions would look from a code POV which we could expose via apiv4

Minor cleanup on household merge properties

[REF] cleanup setting of additional postal fields

Further cleanup

Merge pull request #14780 from eileenmcnaughton/export_test2

[NFC] [REF] [TEST] [EXPORT] Update various export tests to test csv output with new functions

Merge pull request #14788 from eileenmcnaughton/ex2

[REF] [EXPORT] partial cleanup on adding fields to returnProperties based on usage

[REF] partial cleanup on adding fields to returnProperties based on usage

Merge pull request #14785 from colemanw/contactTypes

[EXPORT] Minor fixes to the export form

[NFC][REF][TEST] update im provider export test to use csv output

The move from testing sqlColumns to csv output is deliberate. While refactoring, cleaning up the sqlColumns stuff
having test on it was VERY helpful. But, at the end of the day the csv IS the output and testing that allows
us to improve the mechanism to develop that output

[NFC] [TEST] fix another test for output testing

Improve another test to test csv output

Note we are implictly checking headers so no need to do so separately

Merge pull request #14786 from civicrm/5.16

5.16 to master

Remove irrelevant relationship types from export options

Use function to get contactTypes instead of hardcoded list

Merge pull request #14783 from agh1/5.16.0-releasenotes

5.16.0 release notes first run

Merge pull request #14773 from eileenmcnaughton/export

 [REF] [export] remove chunk of non-functional code

Merge pull request #14774 from eileenmcnaughton/export_again

[REF] [export] Cleaner handling of additional return properties

Merge pull request #14761 from eileenmcnaughton/unsub1

dev/core#1108 Use api call to retrieve mailing_id

5.16.0 release notes: include César Ramos
per
https://github.com/civicrm/civicrm-core/pull/14518#issuecomment-501881835

5.16.0 release notes: add boilerplate

5.16.0 release notes: raw from script

Contributor key: fix invalid YAML

Merge pull request #14767 from eileenmcnaughton/export_2

[REF] initial extraction of loading saved mapping to qf format

Merge pull request #14769 from eileenmcnaughton/ex_test2

[REF] simplify & add tests on getMappingParams

Merge pull request #14781 from civicrm/5.16

5.16 to master

Merge pull request #14775 from eileenmcnaughton/bgm

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Merge pull request #14779 from eileenmcnaughton/export_test2

[ref] [export] [test] Improve csv test to test final output rather than the csv

Merge pull request #14750 from eileenmcnaughton/pay_notice

Fix enotice on formatting credit card details

Improve csv test to test final output rather than the csv

Merge pull request #14770 from totten/master-config-ids

Finish removing references to Config.IDS.ini

Merge pull request #14696 from totten/master-d8-url

Migrate CivicrmHelper::parseUrl() to CRM_Utils_System_Drupal8::parseUrl().

Merge pull request #14777 from totten/master-clean-key

GenCode, Cache::cleanKey() - Fix deploop during clean initialization

Merge pull request #14778 from totten/master-basefilepath

(dev/cloud-native#3) CRM_Utils_File - Deprecate baseFilePath() et al

CRM_Utils_File::relativeDirectory() - Mark as deprecated

Computation of a relative path requires some base.  This implementation is
problematic because it relies on an implicit base which was constructed
problematically.  Moreover, the function is not used anywhere in the known
`universe`.

CRM_Utils_File::absoluteDirectory() - Make `$basePath` required

Previous versions interpreted `$basePath=NULL` to mean "default to `self::baseFilePath()`".
However, no code in the known `universe` relies on this interpretation, and
the `baseFilePath()` function is problematic/deprecated.

We could almost deprecate the entire function `absoluteDirectory()`;
however, it's fine to keep around: the semantics are reasonable if one
provides `$basePath`, and there is one active use-case in which
`Civi\Core\Paths` calls `absoluteDirectory()` with a suitable `$basePath`.

CRM_Utils_File::baseFilePath() - Mark function as deprecated

The rationale is provided in the docblock.

GenCode, Cache::cleanKey() - Fix deploop during clean initialization

Overview
--------

Suppose you have a clean codebase with no DAO files, and you try to run `xml/GenCode.php`.
This currently crashes.

The problem is not symptomatic day-to-day because we commit DAOs, so it's
very rare to run a full/clean initialization.  However, it does get in the
way of stress-testing the correctness of GenCode.

Before
------

Since 76e697a9d750d568d0d12c10dd8173f656e8bb1e, I believe we've had a dependency-loop
in the clean-gencode scenario, which works as follows:

* We don't have any DAOs, so we run `GenCode`.
* Running `GenCode` does a partial bootstrap (i.e. `CRM_Core_Config::singleton($loadFromDB===FALSE)`)
* The partial bootstrap creates some thread-local caches (`Arraycache`)
* Before creating the cache, it normalizes the name by calling `CRM_Core_BAO_Cache::cleanKey()`
* `CRM_Core_BAO_Cache` extends `CRM_Core_DAO_Cache`
* `CRM_Core_BAO_Cache` doesn't exist - that's why we called `GenCode` at the beginning.

After
-----

This migrates the utility function `cleanKey()` to another class which is always available and
does not rely on DAOs.

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Merge pull request #14772 from mlutfy/drupal75

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Cleaner handling of additional return properties

 [REF] [export] remove chunk of non-functional code

I worked through this & groups is only available as a return property from contact export so can only be hit from there.

However, the search string has a very specific format - involving parentheses - that is NOT present in the from
clause as currently calculated

      case 'civicrm_group_contact':
        return " $side JOIN civicrm_group_contact ON contact_a.id = civicrm_group_contact.contact_id ";

I don't kmow if there is some bug that if this worked it would fix or not but the original bug
it addressed referred to an old query format we don't use https://issues.civicrm.org/jira/browse/CRM-3618 now.

If there is a bug this won't change it & if we identify it we can add tests & fix properly

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Merge pull request #14768 from eileenmcnaughton/export_test

[REF] [export] . Move greeting params retrieval to the place in the code where it is used

[REF] simplify & add tests on getMappingParams

Tests extended to cover search builder (all that operator stuff

CRM-20926 - Finish killing Config.IDS.ini

Move greeting params retrieval to the place in the code where it is used

Merge pull request #14765 from eileenmcnaughton/export_test

[REF] Update export test to new function

[REF] initial extraction of loading saved mapping to qf format

Janky but in the right direction. The phoneType & imProvider stuff looks nasty but not more nasty

Merge pull request #14745 from eileenmcnaughton/fgb

dev/core#578 follow up fix on activity summary report

Merge pull request #14615 from mattwire/contributionpage_title

Set title using standard form method and use for success message on contributionpage

Merge pull request #14762 from eileenmcnaughton/mapping_whomp

[REF] Extract mapping converter function, kinda brutally

Extract mapping converter function, kinda brutally

Update export test to new function

Merge pull request #14706 from ixiam/dev-SmartyCompiled

expose smarty's compile_check to be overridden in civicrm.settings.php

Merge pull request #14758 from eileenmcnaughton/export_test_improve

[REF] export code simplification

Deprecated alterFieldSQL

This function is only used by one place and feels like the wrong separation of concerns - ie
we have a single create action & a multiple create action. They both need to share the generation
of the sql to run but can handle the batching of that & rebuilding of triggers etc
separately

dev/core#1108 Use api call to retrieve mailing_id

This replaces several lines of code with one & avoids ad hoc handling on translation

Add unit test for saveFieldMapping

Merge pull request #14757 from eileenmcnaughton/mapping_fields

[REF] Extract saveMapping Field

Merge pull request #14729 from eileenmcnaughton/enotice

e-notice fix & unit test

Remove unecessary pass-by-reference

[REF] export code simplification

On review I find the value ['exportOption'] is a parameter used at the form later to determine whether to
export 'Primary fields only' (ahem) or the user should select an array of fields. By the time the form is submitted we
either have an array of selected fields or NULL denoting that there is no selection (& hence the defaults should be used)
and the selection at the form layer is redundant. However it is still being referenced in one place (and hence the tests
are passing it in to avoid an enotice). This fixes that one place & removes it from the tests. It also extracts part of
a test to move towards making it easier to alter the signature of exportComponents without messing with so many places in
the code

Merge pull request #14756 from eileenmcnaughton/wrangle

Extract field wrangling to determineReturnProperties

Extract saveMapping Field

Basic extraction. Tangental to export mapping cleanup

Merge pull request #14754 from eileenmcnaughton/cust_field_fix

Fix obscure bug on updating custom fields (not necessarily hittable via UI)

Merge pull request #14755 from eileenmcnaughton/mapping_sane

[REF] Remove call to getMappingFields in favour of api call.

Extract field wrangling to determineReturnProperties

This encases the wrangling of the field format to it's own function

Merge pull request #14742 from eileenmcnaughton/payment_out

[REF] un-extract createProportionalFinancialEntities

Fix obscure bug on updating custom fields (not necessarily hittable via UI)

This fixes a bug which I think only applies to programatically created custom fields -basically if the field has an empty option_group_id
and then you update it to have one it does a check to see if the existing option_group_id is in use and does not handle the
fact the field is empty - leading to a mysql error.

Remove call to getMappingFields in favour of api call.

The getMappingFields function is confusing - it turns out we just need an array of names