two more subpackage blocks
[squirrelmail.git] / functions / imap_asearch.php
index d1c5edfeb14ef0ea2b1a0e2deb6054c24382a066..b6b3a7db9cb056e977ea399ce3477c6999531237 100644 (file)
@@ -3,23 +3,33 @@
 /**
  * imap_search.php
  *
- * Copyright (c) 1999-2003 The SquirrelMail Project Team
+ * Copyright (c) 1999-2004 The SquirrelMail Project Team
  * Licensed under the GNU GPL. For full terms see the file COPYING.
  *
  * IMAP asearch routines
- * @author Alex Lemaresquier - Brainstorm - alex at brainstorm.fr
- * See README file for infos.
- * @package squirrelmail
  *
+ * Subfolder search idea from Patch #806075 by Thomas Pohl xraven at users.sourceforge.net. Thanks Thomas!
+ *
+ * @version $Id$
+ * @package squirrelmail
+ * @subpackage imap
+ * @see search.php
+ * @link ftp://ftp.rfc-editor.org/in-notes/rfc3501.txt
+ * @author Alex Lemaresquier - Brainstorm - alex at brainstorm.fr
  */
 
 /** This functionality requires the IMAP and date functions */
 require_once(SM_PATH . 'functions/imap_general.php');
 require_once(SM_PATH . 'functions/date.php');
 
-/** Set to TRUE to dump the imap dialogue */
+/** Set to TRUE to dump the imap dialogue
+ * @global bool $imap_asearch_debug_dump
+ */
 $imap_asearch_debug_dump = FALSE;
 
+/** Imap SEARCH keys
+ * @global array $imap_asearch_opcodes
+ */
 $imap_asearch_opcodes = array(
 /* <message set> => 'asequence', */
 /*'ALL' is binary operator */
@@ -59,6 +69,9 @@ $imap_asearch_opcodes = array(
        'UNSEEN' => ''
 );
 
+/** Imap SEARCH month names encoding
+ * @global array $imap_asearch_months
+ */
 $imap_asearch_months = array(
        '01' => 'jan',
        '02' => 'feb',
@@ -74,27 +87,42 @@ $imap_asearch_months = array(
        '12' => 'dec'
 );
 
+/** Error message titles according to imap server returned code
+ * @global array $imap_error_titles
+ */
 $imap_error_titles = array(
        'OK' => '',
        'NO' => _("ERROR : Could not complete request."),
        'BAD' => _("ERROR : Bad or malformed request."),
-       'BYE' => _("ERROR : Imap server closed the connection.")
+       'BYE' => _("ERROR : Imap server closed the connection."),
+       '' => _("ERROR : Connection dropped by imap-server.")
 );
 
-// why can't this just use sqimap_error_box() ?
-// It does, indeed I isolated sqimap_error_box() as a stand-alone function just for this purpose ;)
-function sqimap_asearch_error_box($response, $query, $message)
+/**
+ * Function to display an error related to an IMAP-query.
+ * We need to do our own error management since we may receive NO responses on purpose (even BAD with SORT or THREAD)
+ * so we call sqimap_error_box() if the function exists (sm >= 1.5) or use our own embedded code
+ * @global array imap_error_titles
+ * @param string $response the imap server response code
+ * @param string $query the failed query
+ * @param string $message an optional error message
+ * @param string $link an optional link to try again
+ */
+//@global array color sm colors array
+function sqimap_asearch_error_box($response, $query, $message, $link = '')
 {
        global $imap_error_titles;
 
-       //if (!array_key_exists($response, $imap_error_titles)) //php 4.0.6 compatibility
-       if (!in_array($response, array_keys($imap_error_titles)))
+       if (!array_key_exists($response, $imap_error_titles))
                $title = _("ERROR : Unknown imap response.");
        else
                $title = $imap_error_titles[$response];
-       $message_title = _("Reason Given: ");
+       if ($link == '')
+               $message_title = _("Reason Given: ");
+       else
+               $message_title = _("Possible reason : ");
        if (function_exists('sqimap_error_box'))
-               sqimap_error_box($title, $query, $message_title, $message);
+               sqimap_error_box($title, $query, $message_title, $message, $link);
        else {  //Straight copy of 1.5 imap_general.php:sqimap_error_box(). Can be removed at a later time
                global $color;
     require_once(SM_PATH . 'functions/display_messages.php');
@@ -105,6 +133,8 @@ function sqimap_asearch_error_box($response, $query, $message)
         $string .= $message_title;
     if ($message != '')
         $string .= htmlspecialchars($message);
+    if ($link != '')
+        $string .= $link;
     $string .= "</font><br>\n";
     error_box($string,$color);
        }
@@ -112,6 +142,8 @@ function sqimap_asearch_error_box($response, $query, $message)
 
 /**
  * This is to avoid the E_NOTICE warnings signaled by marc AT squirrelmail.org. Thanks Marc!
+ * @param mixed $var any variable (reference)
+ * @return mixed zls ('') if $var is not defined, otherwise $var
  */
 function asearch_nz(&$var)
 {
@@ -123,6 +155,8 @@ function asearch_nz(&$var)
 /**
  * This should give the same results as PHP 4 >= 4.3.0's html_entity_decode(),
  * except it doesn't handle hex constructs
+ * @param string $string string to unhtmlentity()
+ * @return string decoded string
  */
 function asearch_unhtmlentities($string) {
        $trans_tbl = array_flip(get_html_translation_table(HTML_ENTITIES));
@@ -135,6 +169,12 @@ function asearch_unhtmlentities($string) {
 */
 }
 
+/**
+ * Provide an easy way to dump the imap dialogue if $imap_asearch_debug_dump is TRUE
+ * @global imap_asearch_debug_dump
+ * @param string $var_name
+ * @param string $var_var
+ */
 function s_debug_dump($var_name, $var_var)
 {
        global $imap_asearch_debug_dump;
@@ -150,13 +190,17 @@ function s_debug_dump($var_name, $var_var)
        }
 }
 
-/*
-4.3 String:
-       A quoted string is a sequence of zero or more 7-bit characters,
-        excluding CR and LF, with double quote (<">) characters at each end.
-9. Formal Syntax:
-       quoted-specials = DQUOTE / "\"
-*/
+/** Encode a string to quoted or literal as defined in rfc 3501
+ *
+ * - § 4.3 String:
+ *     A quoted string is a sequence of zero or more 7-bit characters,
+ *      excluding CR and LF, with double quote (<">) characters at each end.
+ * - § 9. Formal Syntax:
+ *     quoted-specials = DQUOTE / "\"
+ * @param string $what string to encode
+ * @param string $charset search charset used
+ * @return string encoded string
+ */
 function sqimap_asearch_encode_string($what, $charset)
 {
        if (strtoupper($charset) == 'ISO-2022-JP')      // This should be now handled in imap_utf7_local?
@@ -168,11 +212,15 @@ function sqimap_asearch_encode_string($what, $charset)
 }
 
 /**
- * Parses a user date string into an rfc2060 date string
- * (<day number>-<US month TLA>-<4 digit year>).
- * Returns a preg_match-style array: [0]: fully formatted date,
- * [1]: day, [2]: month, [3]: year
+ * Parses a user date string into an rfc 3501 date string
  * Handles space, slash, backslash, dot and comma as separators (and dash of course ;=)
+ * @global imap_asearch_months
+ * @param string user date
+ * @return array a preg_match-style array:
+ *  - [0] = fully formatted rfc 3501 date string (<day number>-<US month TLA>-<4 digit year>)
+ *  - [1] = day
+ *  - [2] = month
+ *  - [3] = year
  */
 function sqimap_asearch_parse_date($what)
 {
@@ -204,6 +252,14 @@ function sqimap_asearch_parse_date($what)
        return $what_parts;
 }
 
+/**
+ * Build one criteria sequence
+ * @global array imap_asearch_opcodes
+ * @param string $opcode search opcode
+ * @param string $what opcode argument
+ * @param string $charset search charset
+ * @return string one full criteria sequence
+ */
 function sqimap_asearch_build_criteria($opcode, $what, $charset)
 {
        global $imap_asearch_opcodes;
@@ -212,12 +268,12 @@ function sqimap_asearch_build_criteria($opcode, $what, $charset)
        switch ($imap_asearch_opcodes[$opcode]) {
                default:
                case 'anum':
-/*                     $what = str_replace(' ', '', $what);*/
+//                     $what = str_replace(' ', '', $what);
                        $what = ereg_replace('[^0-9]+', '', $what);
                        if ($what != '')
                                $criteria = $opcode . ' ' . $what . ' ';
                break;
-               case '':        /* aflag */
+               case '':        //aflag
                        $criteria = $opcode . ' ';
                break;
                case 'afield':  /* HEADER field-name: field-body */
@@ -245,53 +301,62 @@ function sqimap_asearch_build_criteria($opcode, $what, $charset)
        return $criteria;
 }
 
-function sqimap_run_search($imapConnection, $search_string, $search_charset)
+/**
+ * Another way to do array_values(array_unique(array_merge($to, $from)));
+ * @param array $to to array (reference)
+ * @param array $from from array
+ * @return array uniquely merged array
+ */
+function sqimap_array_merge_unique(&$to, $from)
 {
-       global $uid_support;
+       if (empty($to))
+               return $from;
+       $count = count($from);
+       for ($i = 0; $i < $count; $i++) {
+               if (!in_array($from[$i], $to))
+                       $to[] = $from[$i];
+       }
+       return $to;
+}
 
+/**
+ * Run the imap SEARCH command as defined in rfc 3501
+ * @link ftp://ftp.rfc-editor.org/in-notes/rfc3501.txt
+ * @param resource $imapConnection the current imap stream
+ * @param string $search_string the full search expression eg "ALL RECENT"
+ * @param string $search_charset charset to use or zls ('')
+ * @return array an IDs or UIDs array of matching messages or an empty array
+ */
+function sqimap_run_search($imapConnection, $search_string, $search_charset)
+{
        /* 6.4.4 try OPTIONAL [CHARSET] specification first */
        if ($search_charset != '')
                $query = 'SEARCH CHARSET "' . strtoupper($search_charset) . '" ALL ' . $search_string;
        else
                $query = 'SEARCH ALL ' . $search_string;
        s_debug_dump('C:', $query);
-       $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, $uid_support);
+       $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, TRUE);
 
        /* 6.4.4 try US-ASCII charset if we tried an OPTIONAL [CHARSET] and received a tagged NO response (SHOULD be [BADCHARSET]) */
        if (($search_charset != '')  && (strtoupper($response) == 'NO')) {
                $query = 'SEARCH CHARSET US-ASCII ALL ' . $search_string;
                s_debug_dump('C:', $query);
-               $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, $uid_support);
+               $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, TRUE);
        }
        if (strtoupper($response) != 'OK') {
                sqimap_asearch_error_box($response, $query, $message);
                return array();
        }
 
-       unset($messagelist);
-
-       /* Keep going till we find the * SEARCH response */
+       // Keep going till we find the * SEARCH response
        foreach ($readin as $readin_part) {
                s_debug_dump('S:', $readin_part);
                if (substr($readin_part, 0, 9) == '* SEARCH ') {
-                       $messagelist = preg_split("/ /", substr($readin_part, 9));
-                       break;  // Should be the last anyway
+                       //EIMS returns multiple SEARCH responses, and this allowed according to Mark Crispin
+                       $messagelist = sqimap_array_merge_unique($messagelist, preg_split("/ /", substr($readin_part, 9)));
                }
-/*     else {
-                       if (isset($errors))
-                               $errors = $errors . $readin_part;
-                       else
-                               $errors = $readin_part;
-               }*/
        }
 
-       /* If nothing is found * SEARCH should be the first error else echo errors */
-/*if (isset($errors)) {
-               if (strstr($errors,'* SEARCH'))
-                       return array();
-               echo '<!-- ' . htmlspecialchars($errors) . ' -->';
-       }*/
-
        if (empty($messagelist))        //Empty search response, ie '* SEARCH'
                return array();
 
@@ -301,35 +366,46 @@ function sqimap_run_search($imapConnection, $search_string, $search_charset)
        return $id;
 }
 
+/**
+ * Run the imap SORT command as defined in 
+ * @link http://www.ietf.org/internet-drafts/draft-ietf-imapext-sort-13.txt
+ * @param resource $imapConnection the current imap stream
+ * @param string $search_string the full search expression as defined in rfc 3501
+ * @param string $search_charset mandatory charset
+ * @param string $sort_criteria the full sort criteria expression eg "SUBJECT REVERSE DATE"
+ * @return array an IDs or UIDs array of matching messages or an empty array
+ */
 function sqimap_run_sort($imapConnection, $search_string, $search_charset, $sort_criteria)
 {
-       global $uid_support;
-
        if ($search_charset == '')
                $search_charset = 'US-ASCII';
-       $query = 'SORT (' . $sort_criteria . ') ' . strtoupper($search_charset) . ' ALL ' . $search_string;
+       $query = 'SORT (' . $sort_criteria . ') "' . strtoupper($search_charset) . '" ALL ' . $search_string;
        s_debug_dump('C:', $query);
-       $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, $uid_support);
+       $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, TRUE);
+       s_debug_dump('S:', $response);
 
        /* 6.4 try US-ASCII charset if we received a tagged NO response (SHOULD be [BADCHARSET]) */
        if (($search_charset != 'US-ASCII')  && (strtoupper($response) == 'NO')) {
+               s_debug_dump('S:', $readin);
                $query = 'SORT (' . $sort_criteria . ') US-ASCII ALL ' . $search_string;
                s_debug_dump('C:', $query);
-               $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, $uid_support);
+               $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, TRUE);
+               s_debug_dump('S:', $response);
        }
 
        if (strtoupper($response) != 'OK') {
-//             sqimap_asearch_error_box($response, $query, $message);
-//             return array();
-                       return sqimap_run_search($imapConnection, $search_string, $search_charset);     // Fell back to standard search
+               s_debug_dump('S:', $readin);
+//     sqimap_asearch_error_box($response, $query, $message);
+//     return array();
+               return sqimap_run_search($imapConnection, $search_string, $search_charset);     // Fell back to standard search
        }
 
        /* Keep going till we find the * SORT response */
        foreach ($readin as $readin_part) {
                s_debug_dump('S:', $readin_part);
                if (substr($readin_part, 0, 7) == '* SORT ') {
-                       $messagelist = preg_split("/ /", substr($readin_part, 7));
-                       break;  // Should be the last anyway
+                       //SORT returns untagged responses
+                       $messagelist = sqimap_array_merge_unique($messagelist, preg_split("/ /", substr($readin_part, 7)));
                }
        }
 
@@ -342,6 +418,17 @@ function sqimap_run_sort($imapConnection, $search_string, $search_charset, $sort
        return $id;
 }
 
+/**
+ * Run the imap THREAD command as defined in 
+ * @link http://www.ietf.org/internet-drafts/draft-ietf-imapext-sort-13.txt
+ * @param resource $imapConnection the current imap stream
+ * @param string $search_string the full search expression as defined in rfc 3501
+ * @param string $search_charset mandatory charset
+ * @param string $thread_algorithm the threading algorithm "ORDEREDSUBJECT" or "REFERENCES"
+ * @return array an IDs or UIDs array of matching messages or an empty array
+ * @global array thread_new will be used by thread view in mailbox_display
+ * @global array server_sort_array will be used by thread view in mailbox_display
+ */
 function sqimap_run_thread($imapConnection, $search_string, $search_charset, $thread_algorithm)
 {
        global $thread_new, $server_sort_array;
@@ -356,25 +443,42 @@ function sqimap_run_thread($imapConnection, $search_string, $search_charset, $th
 
        $server_sort_array = array();
 
-       global $uid_support;
-
        if ($search_charset == '')
                $search_charset = 'US-ASCII';
-       $query = 'THREAD ' . $thread_algorithm . ' ' . strtoupper($search_charset) . ' ALL ' . $search_string;
+       $query = 'THREAD ' . $thread_algorithm . ' "' . strtoupper($search_charset) . '" ALL ' . $search_string;
        s_debug_dump('C:', $query);
-       $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, $uid_support);
+       $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, TRUE);
+       s_debug_dump('S:', $response);
 
        /* 6.4 try US-ASCII charset if we received a tagged NO response (SHOULD be [BADCHARSET]) */
        if (($search_charset != 'US-ASCII')  && (strtoupper($response) == 'NO')) {
+               s_debug_dump('S:', $readin);
                $query = 'THREAD ' . $thread_algorithm . ' US-ASCII ALL ' . $search_string;
                s_debug_dump('C:', $query);
-               $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, $uid_support);
+               $readin = sqimap_run_command($imapConnection, $query, false, $response, $message, TRUE);
+               s_debug_dump('S:', $response);
        }
 
        if (strtoupper($response) != 'OK') {
-//             sqimap_asearch_error_box($response, $query, $message);
-//             return array();
-                       return sqimap_run_search($imapConnection, $search_string, $search_charset);     // Fell back to standard search
+               s_debug_dump('S:', $readin);
+               if (empty($response)) { //imap server closed connection. We can't go further.
+/* we should at this point:
+       - warn the user that the THREAD call has failed
+       - (offer him a way to) disconnect it permanently in the prefs
+       - perform the regular search instead or provide a way to do it in one click
+*/
+                       global $sort, $mailbox, $php_self;
+                       $message = _("The imap server failed to handle threading.");
+                       $unthread = _("Click here to unset thread view for this mailbox and start again.");
+                       if (preg_match('/^(.+)\?.+$/', $php_self, $regs))
+                               $source_url = $regs[1];
+       else
+                               $source_url = $php_self;
+                       $link = '<a href=' . $source_url . '?sort=' . $sort . '&start_messages=1&set_thread=0&mailbox=' . urlencode($mailbox) . '>' . $unthread . '</a>';
+                       sqimap_asearch_error_box($response, $query, $message, $link);
+                       return array();
+               }
+               return sqimap_run_search($imapConnection, $search_string, $search_charset);     // Fell back to standard search
        }
 
        /* Keep going till we find the * THREAD response */
@@ -424,6 +528,12 @@ function sqimap_run_thread($imapConnection, $search_string, $search_charset, $th
        return $thread_list;
 }
 
+/**
+ * @global bool allow_charset_search user setting
+ * @global array languages sm languages array
+ * @global string squirrelmail_language user language setting
+ * @return string the user defined charset if $allow_charset_search is TRUE else zls ('')
+ */
 function sqimap_asearch_get_charset()
 {
        global $allow_charset_search, $languages, $squirrelmail_language;
@@ -433,35 +543,70 @@ function sqimap_asearch_get_charset()
        return '';
 }
 
+/**
+ * Convert sm internal sort to imap sort taking care of:
+ * - user defined date sorting (ARRIVAL vs DATE)
+ * - if the searched mailbox is the sent folder then TO is being used instead of FROM
+ * - reverse order by using REVERSE
+ * @param string $mailbox mailbox name to sort
+ * @param integer $sort_by sm sort criteria index
+ * @global bool internal_date_sort sort by arrival date instead of message date
+ * @global string sent_folder sent folder name
+ * @return string imap sort criteria
+ */
 function sqimap_asearch_get_sort_criteria($mailbox, $sort_by)
 {
        global $internal_date_sort, $sent_folder;
 
-       $sort_opcodes = array ('DATE', 'FROM', 'SUBJECT');
+       $sort_opcodes = array ('DATE', 'FROM', 'SUBJECT', 'SIZE');
        if ($internal_date_sort == true)
                $sort_opcodes[0] = 'ARRIVAL';
 //     if (handleAsSent($mailbox))
 //     if (isSentFolder($mailbox))
        if ($mailbox == $sent_folder)
                $sort_opcodes[1] = 'TO';
-       return (($sort_by % 2) ? '' : 'REVERSE ') . $sort_opcodes[$sort_by >> 1];
+       return (($sort_by % 2) ? '' : 'REVERSE ') . $sort_opcodes[($sort_by >> 1) & 3];
 }
 
-/* replaces $mbox_msgs[$search_mailbox] = array_values(array_unique(array_merge($mbox_msgs[$search_mailbox], sqimap_run_search($imapConnection, $search_string, $search_charset))));*/
-function sqimap_array_merge_unique($to, $from)
+/**
+ * @param string $cur_mailbox unformatted mailbox name
+ * @param array $boxes_unformatted selectable mailbox unformatted names array (reference)
+ * @return array sub mailboxes unformatted names
+ */
+function sqimap_asearch_get_sub_mailboxes($cur_mailbox, $mboxes_array)
 {
-       if (empty($to))
-               return $from;
-       for ($i=0; $i<count($from); $i++) {
-               if (!in_array($from[$i], $to))
-                       $to[] = $from[$i];
+       $sub_mboxes_array = array();
+       $boxcount = count($mboxes_array);
+       for ($boxnum=0; $boxnum < $boxcount; $boxnum++) {
+               if (isBoxBelow($mboxes_array[$boxnum], $cur_mailbox))
+                       $sub_mboxes_array[] = $mboxes_array[$boxnum];
        }
-       return $to;
+       return $sub_mboxes_array;
 }
 
-function sqimap_asearch($imapConnection, $mailbox_array, $biop_array, $unop_array, $where_array, $what_array, $exclude_array, $mboxes_array)
+/**
+ * Performs the search, given all the criteria, merging results for every mailbox
+ * @param resource $imapConnection
+ * @param array $mailbox_array
+ * @param array $biop_array
+ * @param array $unop_array
+ * @param array $where_array
+ * @param array $what_array
+ * @param array $exclude_array
+ * @param array $sub_array
+ * @param array $mboxes_array selectable unformatted mailboxes names
+ * @global bool allow_server_sort comes from config.php
+ * @global integer sort sm internal sort order
+ * @global bool allow_thread_sort comes from config.php
+ * @global bool thread_sort_messages does it really need to global?
+ * @global integer sort_by_ref thread by references
+ * @global string data_dir
+ * @global string username
+ * @return array $mbox_msgs array(mailbox => array(UIDs))
+ */
+function sqimap_asearch($imapConnection, $mailbox_array, $biop_array, $unop_array, $where_array, $what_array, $exclude_array, $sub_array, $mboxes_array)
 {
-       global $allow_server_sort, $sort, $allow_thread_sort, $thread_sort_messages;
+       global $allow_server_sort, $sort, $allow_thread_sort, $thread_sort_messages, $sort_by_ref;
        global $data_dir, $username;
 
        $search_charset = sqimap_asearch_get_charset();
@@ -475,8 +620,10 @@ function sqimap_asearch($imapConnection, $mailbox_array, $biop_array, $unop_arra
                        $next_mailbox = $mailbox_array[$cur_crit];
                        if ($next_mailbox != $cur_mailbox) {
                                $search_string = trim($search_string);  /* Trim out last space */
-                               if (($cur_mailbox == 'All Folders') && (!empty($mboxes_array)))
-                                       $search_mboxes = $mboxes_array;
+                               if ($cur_mailbox == 'All Folders')
+                                               $search_mboxes = $mboxes_array;
+                               else if ((!empty($sub_array[$cur_crit - 1])) || (!in_array($cur_mailbox, $mboxes_array)))
+                                       $search_mboxes = sqimap_asearch_get_sub_mailboxes($cur_mailbox, $mboxes_array);
                                else
                                        $search_mboxes = array($cur_mailbox);
                                foreach ($search_mboxes as $cur_mailbox) {
@@ -484,7 +631,10 @@ function sqimap_asearch($imapConnection, $mailbox_array, $biop_array, $unop_arra
                                        sqimap_mailbox_select($imapConnection, $cur_mailbox);
                                        $thread_sort_messages = $allow_thread_sort && getPref($data_dir, $username, 'thread_' . $cur_mailbox);
                                        if ($thread_sort_messages) {
-                                               $thread_algorithm = 'REFERENCES';
+                                               if ($sort_by_ref == 1)
+                                                       $thread_algorithm = 'REFERENCES';
+                                               else
+                                                       $thread_algorithm = 'ORDEREDSUBJECT';
                                                $found_msgs = sqimap_run_thread($imapConnection, $search_string, $search_charset, $thread_algorithm);
                                        }
                                        else