Merge pull request #14948 from civicrm/5.16
[civicrm-core.git] / CRM / Export / BAO / ExportProcessor.php
index 50f45f7870f7b03eb8c681bb78b7983abddb2f24..0f6d1af745b104ccbb6ea13a9cdf48c500767fe4 100644 (file)
@@ -739,23 +739,8 @@ class CRM_Export_BAO_ExportProcessor {
    */
   public function runQuery($params, $order) {
     $returnProperties = $this->getReturnProperties();
-    $addressWhere = '';
     $params = array_merge($params, $this->getWhereParams());
-    if ($this->isPostalableOnly) {
-      if (array_key_exists('street_address', $returnProperties)) {
-        $addressWhere = " civicrm_address.street_address <> ''";
-        if (array_key_exists('supplemental_address_1', $returnProperties)) {
-          // We need this to be an OR rather than AND on the street_address so, hack it in.
-          $addressOptions = CRM_Core_BAO_Setting::valueOptions(CRM_Core_BAO_Setting::SYSTEM_PREFERENCES_NAME,
-            'address_options', TRUE, NULL, TRUE
-          );
-          if (!empty($addressOptions['supplemental_address_1'])) {
-            $addressWhere .= " OR civicrm_address.supplemental_address_1 <> ''";
-          }
-        }
-        $addressWhere = ' AND (' . $addressWhere . ')';
-      }
-    }
+
     $query = new CRM_Contact_BAO_Query($params, $returnProperties, NULL,
       FALSE, FALSE, $this->getQueryMode(),
       FALSE, TRUE, TRUE, NULL, $this->getQueryOperator()
@@ -781,6 +766,22 @@ class CRM_Export_BAO_ExportProcessor {
       }
     }
 
+    if ($this->isPostalableOnly) {
+      if (array_key_exists('street_address', $returnProperties)) {
+        $addressWhere = " civicrm_address.street_address <> ''";
+        if (array_key_exists('supplemental_address_1', $returnProperties)) {
+          // We need this to be an OR rather than AND on the street_address so, hack it in.
+          $addressOptions = CRM_Core_BAO_Setting::valueOptions(CRM_Core_BAO_Setting::SYSTEM_PREFERENCES_NAME,
+            'address_options', TRUE, NULL, TRUE
+          );
+          if (!empty($addressOptions['supplemental_address_1'])) {
+            $addressWhere .= " OR civicrm_address.supplemental_address_1 <> ''";
+          }
+        }
+        $whereClauses['address'] = $addressWhere;
+      }
+    }
+
     if (empty($where)) {
       $where = "WHERE " . implode(' AND ', $whereClauses);
     }
@@ -1402,18 +1403,17 @@ class CRM_Export_BAO_ExportProcessor {
     }
 
     $queryFields = $this->getQueryFields();
-    $lookUp = ['prefix_id', 'suffix_id'];
+    // @todo remove the enotice avoidance here, ensure all columns are declared.
+    // tests will fail on the enotices until they all are & then all the 'else'
+    // below can go.
+    $fieldSpec = $queryFields[$columnName] ?? [];
+
     // set the sql columns
-    if (isset($queryFields[$columnName]['type'])) {
-      switch ($queryFields[$columnName]['type']) {
+    if (isset($fieldSpec['type'])) {
+      switch ($fieldSpec['type']) {
         case CRM_Utils_Type::T_INT:
         case CRM_Utils_Type::T_BOOLEAN:
-          if (in_array($columnName, $lookUp)) {
-            return "$fieldName varchar(255)";
-          }
-          else {
-            return "$fieldName varchar(16)";
-          }
+          return "$fieldName varchar(16)";
 
         case CRM_Utils_Type::T_STRING:
           if (isset($queryFields[$columnName]['maxlength'])) {
@@ -2167,4 +2167,213 @@ WHERE  id IN ( $deleteIDString )
     }
   }
 
+  /**
+   * Create the temporary table for output.
+   */
+  public function createTempTable() {
+    //creating a temporary table for the search result that need be exported
+    $exportTempTable = CRM_Utils_SQL_TempTable::build()->setDurable()->setCategory('export');
+    $sqlColumns = $this->getSQLColumns();
+    // also create the sql table
+    $exportTempTable->drop();
+
+    $sql = " id int unsigned NOT NULL AUTO_INCREMENT, ";
+    if (!empty($sqlColumns)) {
+      $sql .= implode(",\n", array_values($sqlColumns)) . ',';
+    }
+
+    $sql .= "\n PRIMARY KEY ( id )";
+
+    // add indexes for street_address and household_name if present
+    $addIndices = [
+      'street_address',
+      'household_name',
+      'civicrm_primary_id',
+    ];
+
+    foreach ($addIndices as $index) {
+      if (isset($sqlColumns[$index])) {
+        $sql .= ",
+  INDEX index_{$index}( $index )
+";
+      }
+    }
+
+    $exportTempTable->createWithColumns($sql);
+    $this->setTemporaryTable($exportTempTable->getName());
+  }
+
+  /**
+   * Get the values of linked household contact.
+   *
+   * @param CRM_Core_DAO $relDAO
+   * @param array $value
+   * @param string $field
+   * @param array $row
+   *
+   * @throws \Exception
+   */
+  public function fetchRelationshipDetails($relDAO, $value, $field, &$row) {
+    $phoneTypes = CRM_Core_PseudoConstant::get('CRM_Core_DAO_Phone', 'phone_type_id');
+    $imProviders = CRM_Core_PseudoConstant::get('CRM_Core_DAO_IM', 'provider_id');
+    $i18n = CRM_Core_I18n::singleton();
+    $field = $field . '_';
+
+    foreach ($value as $relationField => $relationValue) {
+      if (is_object($relDAO) && property_exists($relDAO, $relationField)) {
+        $fieldValue = $relDAO->$relationField;
+        if ($relationField == 'phone_type_id') {
+          $fieldValue = $phoneTypes[$relationValue];
+        }
+        elseif ($relationField == 'provider_id') {
+          $fieldValue = CRM_Utils_Array::value($relationValue, $imProviders);
+        }
+        // CRM-13995
+        elseif (is_object($relDAO) && in_array($relationField, [
+          'email_greeting',
+          'postal_greeting',
+          'addressee',
+        ])) {
+          //special case for greeting replacement
+          $fldValue = "{$relationField}_display";
+          $fieldValue = $relDAO->$fldValue;
+        }
+      }
+      elseif (is_object($relDAO) && $relationField == 'state_province') {
+        $fieldValue = CRM_Core_PseudoConstant::stateProvince($relDAO->state_province_id);
+      }
+      elseif (is_object($relDAO) && $relationField == 'country') {
+        $fieldValue = CRM_Core_PseudoConstant::country($relDAO->country_id);
+      }
+      else {
+        $fieldValue = '';
+      }
+      $relPrefix = $field . $relationField;
+
+      if (is_object($relDAO) && $relationField == 'id') {
+        $row[$relPrefix] = $relDAO->contact_id;
+      }
+      elseif (is_array($relationValue) && $relationField == 'location') {
+        foreach ($relationValue as $ltype => $val) {
+          // If the location name has a space in it the we need to handle that. This
+          // is kinda hacky but specifically covered in the ExportTest so later efforts to
+          // improve it should be secure in the knowled it will be caught.
+          $ltype = str_replace(' ', '_', $ltype);
+          foreach (array_keys($val) as $fld) {
+            $type = explode('-', $fld);
+            $fldValue = "{$ltype}-" . $type[0];
+            if (!empty($type[1])) {
+              $fldValue .= "-" . $type[1];
+            }
+            // CRM-3157: localise country, region (both have ‘country’ context)
+            // and state_province (‘province’ context)
+            switch (TRUE) {
+              case (!is_object($relDAO)):
+                $row[$field . '_' . $fldValue] = '';
+                break;
+
+              case in_array('country', $type):
+              case in_array('world_region', $type):
+                $row[$field . '_' . $fldValue] = $i18n->crm_translate($relDAO->$fldValue,
+                  ['context' => 'country']
+                );
+                break;
+
+              case in_array('state_province', $type):
+                $row[$field . '_' . $fldValue] = $i18n->crm_translate($relDAO->$fldValue,
+                  ['context' => 'province']
+                );
+                break;
+
+              default:
+                $row[$field . '_' . $fldValue] = $relDAO->$fldValue;
+                break;
+            }
+          }
+        }
+      }
+      elseif (isset($fieldValue) && $fieldValue != '') {
+        //check for custom data
+        if ($cfID = CRM_Core_BAO_CustomField::getKeyID($relationField)) {
+          $row[$relPrefix] = CRM_Core_BAO_CustomField::displayValue($fieldValue, $cfID);
+        }
+        else {
+          //normal relationship fields
+          // CRM-3157: localise country, region (both have ‘country’ context) and state_province (‘province’ context)
+          switch ($relationField) {
+            case 'country':
+            case 'world_region':
+              $row[$relPrefix] = $i18n->crm_translate($fieldValue, ['context' => 'country']);
+              break;
+
+            case 'state_province':
+              $row[$relPrefix] = $i18n->crm_translate($fieldValue, ['context' => 'province']);
+              break;
+
+            default:
+              $row[$relPrefix] = $fieldValue;
+              break;
+          }
+        }
+      }
+      else {
+        // if relation field is empty or null
+        $row[$relPrefix] = '';
+      }
+    }
+  }
+
+  /**
+   * Write to the csv from the temp table.
+   */
+  public function writeCSVFromTable() {
+    // call export hook
+    $headerRows = $this->getHeaderRows();
+    $exportTempTable = $this->getTemporaryTable();
+    CRM_Utils_Hook::export($exportTempTable, $headerRows, $sqlColumns, $exportMode, $componentTable, $ids);
+    if ($exportTempTable !== $this->getTemporaryTable()) {
+      CRM_Core_Error::deprecatedFunctionWarning('altering the export table in the hook is deprecated (in some flows the table itself will be)');
+      $this->setTemporaryTable($exportTempTable);
+    }
+    $exportTempTable = $this->getTemporaryTable();
+    $writeHeader = TRUE;
+    $offset = 0;
+    // increase this number a lot to avoid making too many queries
+    // LIMIT is not much faster than a no LIMIT query
+    // CRM-7675
+    $limit = 100000;
+
+    $query = "SELECT * FROM $exportTempTable";
+
+    while (1) {
+      $limitQuery = $query . "
+LIMIT $offset, $limit
+";
+      $dao = CRM_Core_DAO::executeQuery($limitQuery);
+
+      if ($dao->N <= 0) {
+        break;
+      }
+
+      $componentDetails = [];
+      while ($dao->fetch()) {
+        $row = [];
+
+        foreach (array_keys($this->getSQLColumns()) as $column) {
+          $row[$column] = $dao->$column;
+        }
+        $componentDetails[] = $row;
+      }
+      CRM_Core_Report_Excel::writeCSVFile($this->getExportFileName(),
+        $headerRows,
+        $componentDetails,
+        NULL,
+        $writeHeader
+      );
+
+      $writeHeader = FALSE;
+      $offset += $limit;
+    }
+  }
+
 }