More export Structure arrays to processor

Merge pull request #14810 from eileenmcnaughton/fix_up

Fix upgrade for membership second reminder

Merge pull request #14808 from eileenmcnaughton/export_sql

[REF] [Export] Further  cleanup - construct  sql more concisely

Merge pull request #14809 from eileenmcnaughton/ex_merge

[REF] [Export] move mergeSameAddress to processor class

Make return for query more like sql

Merge pull request #14793 from eileenmcnaughton/update_test

[TEST][EXPORT] Improve unit test on export.

Fix upgrade for membership second reminder

Updates the upgrade from https://github.com/civicrm/civicrm-core/pull/1348 to apply to the merged civi version

[REF] [Export] move mergeSameAddress to processor class

Move more of the query construction into runQuery

Merge pull request #14807 from civicrm/5.16

5.16 to master

Merge pull request #14764 from elisseck/dev/report/15

dev/report/15 Add fix and tests for contact subtype report filter

[Test][REF] Improve membership export test

Merge pull request #14806 from eileenmcnaughton/ex

[REF] [Export] further code cleanup

Merge pull request #14728 from eileenmcnaughton/last_icing

[REF] final cleanup - call bulkCreate from migrate_utils

[TEST][EXPORT] Improve unit test on export (inc add mergeSameAddress test)"

This updates the methodology used to test the membership export. I also made it check a bunch more fields
while I was at it

Don't pass around paymentTableId

Move code wrangling to the start

Merge pull request #14800 from colemanw/mapperKeys

[REF] [EXPORT] Alter CRM_Export_BAO_Export::exportComponents

Merge pull request #13487 from giant-rabbit/17880-after-first-reminder-for-membership-fix

(dev/core#285) Fixed second membership reminder

add tests for contact subtype null and not null report filters

apply reporting#15 fix against master

Merge pull request #14803 from eileenmcnaughton/ex5

[REF] [Export] move build master copy array to ExportProcessor

Alter CRM_Export_BAO_Export::exportComponents to accept standard MappingField format

Merge pull request #14804 from eileenmcnaughton/eee

[REF] [Export] Remove code that seems unused

Merge pull request #14802 from eileenmcnaughton/ex4

[REF] [Export] Move setting of household properties to processor

Merge pull request #14805 from civicrm/5.16

5.16 to master

Merge pull request #14789 from seamuslee001/fast_array_caches

Ensure recently converted groups cache matches previous behabiour my …

[REF] [Export] Remove code that seems unused

I can't find any evidence of this code being re-refenced. We DO reference a similar one for merge_same_address

Merge pull request #14801 from eileenmcnaughton/ee

[REF] [Export] Minor code relocation

[REF] [Export] move build master copy array to ExportProcessor

Merge pull request #14799 from eileenmcnaughton/move_ex

[REF] [Export] Move replace merge tokens to processor class

Move setting of household properties to processor

Minor code relocation

n

Merge pull request #14795 from eileenmcnaughton/ex

[REF] [EXPORT] Stop passing return Properties

Move replace merge tokens to processor class

Stop passing return Properties

Merge pull request #14797 from eileenmcnaughton/ex_address

[REF] [Export] Move function that parses tokens to address processor

[REF] final cleanup - call bulkCreate from migrate_utils

This has a test CRM_Utils_Migrate_ImportExportTest although I had trouble running it without switching to
some hard-coding (at least in isolation). This switches the existing bulk create action over to use bulkCreate

Merge pull request #14796 from eileenmcnaughton/ex2

[REF] [EXPORT] Minor consolidation of weird mergeSameAddreess nightmare code

Merge pull request #14694 from eileenmcnaughton/cust_field_bulk

dev/core#1093 add a bulkCreate action for many customFields in one go

[REF] [Export] Move function that parses tokens to address processor

Minor consolidation of weird mergeSameAddreess nightmare code

Merge pull request #14794 from colemanw/select2map

Use select2 to display field mappings

Merge pull request #14790 from eileenmcnaughton/post

[REF] [EXPORT] cleanup setting of additional postal fields

Merge pull request #14792 from eileenmcnaughton/ex_x

[REF] [EXPORT] [TLA] Update handling of input fields so that the mapping format is accepted.

Use select2 to display field mappings

Update handling of input fields so that the mapping format is accepted.

At this point we are converting to the mapping format AFTEr the function receives the fields but
changing that is the next step

Merge pull request #14787 from eileenmcnaughton/ex1

[REF][Export] Minor cleanup on household merge properties

Ensure recently converted groups cache matches previous behabiour my setting withArray as fast for it

Add in code comment as per Eileen

dev/core#1093 add a bulkSave action for many customFields in one go

Add bulkCreate function for CustomField with a view towards this being a new protocol for how bulk create actions would look from a code POV which we could expose via apiv4

Minor cleanup on household merge properties

[REF] cleanup setting of additional postal fields

Further cleanup

Merge pull request #14780 from eileenmcnaughton/export_test2

[NFC] [REF] [TEST] [EXPORT] Update various export tests to test csv output with new functions

Merge pull request #14788 from eileenmcnaughton/ex2

[REF] [EXPORT] partial cleanup on adding fields to returnProperties based on usage

[REF] partial cleanup on adding fields to returnProperties based on usage

Merge pull request #14785 from colemanw/contactTypes

[EXPORT] Minor fixes to the export form

[NFC][REF][TEST] update im provider export test to use csv output

The move from testing sqlColumns to csv output is deliberate. While refactoring, cleaning up the sqlColumns stuff
having test on it was VERY helpful. But, at the end of the day the csv IS the output and testing that allows
us to improve the mechanism to develop that output

[NFC] [TEST] fix another test for output testing

Improve another test to test csv output

Note we are implictly checking headers so no need to do so separately

Merge pull request #14786 from civicrm/5.16

5.16 to master

Remove irrelevant relationship types from export options

Use function to get contactTypes instead of hardcoded list

Merge pull request #14783 from agh1/5.16.0-releasenotes

5.16.0 release notes first run

Merge pull request #14773 from eileenmcnaughton/export

 [REF] [export] remove chunk of non-functional code

Merge pull request #14774 from eileenmcnaughton/export_again

[REF] [export] Cleaner handling of additional return properties

Merge pull request #14761 from eileenmcnaughton/unsub1

dev/core#1108 Use api call to retrieve mailing_id

5.16.0 release notes: include César Ramos
per
https://github.com/civicrm/civicrm-core/pull/14518#issuecomment-501881835

5.16.0 release notes: add boilerplate

5.16.0 release notes: raw from script

Contributor key: fix invalid YAML

Merge pull request #14767 from eileenmcnaughton/export_2

[REF] initial extraction of loading saved mapping to qf format

Merge pull request #14769 from eileenmcnaughton/ex_test2

[REF] simplify & add tests on getMappingParams

Merge pull request #14781 from civicrm/5.16

5.16 to master

Merge pull request #14775 from eileenmcnaughton/bgm

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Merge pull request #14779 from eileenmcnaughton/export_test2

[ref] [export] [test] Improve csv test to test final output rather than the csv

Merge pull request #14750 from eileenmcnaughton/pay_notice

Fix enotice on formatting credit card details

Improve csv test to test final output rather than the csv

Merge pull request #14770 from totten/master-config-ids

Finish removing references to Config.IDS.ini

Merge pull request #14696 from totten/master-d8-url

Migrate CivicrmHelper::parseUrl() to CRM_Utils_System_Drupal8::parseUrl().

Merge pull request #14777 from totten/master-clean-key

GenCode, Cache::cleanKey() - Fix deploop during clean initialization

Merge pull request #14778 from totten/master-basefilepath

(dev/cloud-native#3) CRM_Utils_File - Deprecate baseFilePath() et al

CRM_Utils_File::relativeDirectory() - Mark as deprecated

Computation of a relative path requires some base.  This implementation is
problematic because it relies on an implicit base which was constructed
problematically.  Moreover, the function is not used anywhere in the known
`universe`.

CRM_Utils_File::absoluteDirectory() - Make `$basePath` required

Previous versions interpreted `$basePath=NULL` to mean "default to `self::baseFilePath()`".
However, no code in the known `universe` relies on this interpretation, and
the `baseFilePath()` function is problematic/deprecated.

We could almost deprecate the entire function `absoluteDirectory()`;
however, it's fine to keep around: the semantics are reasonable if one
provides `$basePath`, and there is one active use-case in which
`Civi\Core\Paths` calls `absoluteDirectory()` with a suitable `$basePath`.

CRM_Utils_File::baseFilePath() - Mark function as deprecated

The rationale is provided in the docblock.

GenCode, Cache::cleanKey() - Fix deploop during clean initialization

Overview
--------

Suppose you have a clean codebase with no DAO files, and you try to run `xml/GenCode.php`.
This currently crashes.

The problem is not symptomatic day-to-day because we commit DAOs, so it's
very rare to run a full/clean initialization.  However, it does get in the
way of stress-testing the correctness of GenCode.

Before
------

Since 76e697a9d750d568d0d12c10dd8173f656e8bb1e, I believe we've had a dependency-loop
in the clean-gencode scenario, which works as follows:

* We don't have any DAOs, so we run `GenCode`.
* Running `GenCode` does a partial bootstrap (i.e. `CRM_Core_Config::singleton($loadFromDB===FALSE)`)
* The partial bootstrap creates some thread-local caches (`Arraycache`)
* Before creating the cache, it normalizes the name by calling `CRM_Core_BAO_Cache::cleanKey()`
* `CRM_Core_BAO_Cache` extends `CRM_Core_DAO_Cache`
* `CRM_Core_BAO_Cache` doesn't exist - that's why we called `GenCode` at the beginning.

After
-----

This migrates the utility function `cleanKey()` to another class which is always available and
does not rely on DAOs.

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Merge pull request #14772 from mlutfy/drupal75

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Cleaner handling of additional return properties

 [REF] [export] remove chunk of non-functional code

I worked through this & groups is only available as a return property from contact export so can only be hit from there.

However, the search string has a very specific format - involving parentheses - that is NOT present in the from
clause as currently calculated

      case 'civicrm_group_contact':
        return " $side JOIN civicrm_group_contact ON contact_a.id = civicrm_group_contact.contact_id ";

I don't kmow if there is some bug that if this worked it would fix or not but the original bug
it addressed referred to an old query format we don't use https://issues.civicrm.org/jira/browse/CRM-3618 now.

If there is a bug this won't change it & if we identify it we can add tests & fix properly

dev/drupal#75 Drupal8: fix call to languageNegotiationURL() when called from cv

Merge pull request #14768 from eileenmcnaughton/export_test

[REF] [export] . Move greeting params retrieval to the place in the code where it is used

[REF] simplify & add tests on getMappingParams

Tests extended to cover search builder (all that operator stuff

CRM-20926 - Finish killing Config.IDS.ini

Move greeting params retrieval to the place in the code where it is used

Merge pull request #14765 from eileenmcnaughton/export_test

[REF] Update export test to new function

[REF] initial extraction of loading saved mapping to qf format

Janky but in the right direction. The phoneType & imProvider stuff looks nasty but not more nasty

Merge pull request #14745 from eileenmcnaughton/fgb

dev/core#578 follow up fix on activity summary report

Merge pull request #14615 from mattwire/contributionpage_title

Set title using standard form method and use for success message on contributionpage

Merge pull request #14762 from eileenmcnaughton/mapping_whomp

[REF] Extract mapping converter function, kinda brutally

Extract mapping converter function, kinda brutally