Fix bad assumptions about parallel arrays - see it explode by removing folders withou...
[squirrelmail.git] / functions / imap_mailbox.php
index c2799a2a909d76756eb100fcff573aebafe39bc9..985d4d54a54f50f8c84307ebd7a38493be566b02 100755 (executable)
@@ -3,11 +3,10 @@
 /**
  * imap_mailbox.php
  *
- * Copyright (c) 1999-2005 The SquirrelMail Project Team
- * Licensed under the GNU GPL. For full terms see the file COPYING.
- *
- * This impliments all functions that manipulate mailboxes
+ * This implements all functions that manipulate mailboxes
  *
+ * @copyright 1999-2016 The SquirrelMail Project Team
+ * @license http://opensource.org/licenses/gpl-license.php GNU Public License
  * @version $Id$
  * @package squirrelmail
  * @subpackage imap
@@ -16,7 +15,6 @@
 /** UTF7 support */
 require_once(SM_PATH . 'functions/imap_utf7_local.php');
 
-global $boxesnew;
 
 /**
  * Mailboxes class
@@ -27,15 +25,17 @@ global $boxesnew;
  * should be called is the sqimap_get_status_mbx_tree. In case of subscribe
  * / rename / delete / new we have to create methods for adding/changing the
  * mailbox in the mbx_tree without the need for a refresh.
+ *
+ * Some code fragments are present in 1.3.0 - 1.4.4.
  * @package squirrelmail
  * @subpackage imap
- * @since 1.3.0
+ * @since 1.5.0
  */
 class mailboxes {
     var $mailboxname_full = '', $mailboxname_sub= '', $is_noselect = false, $is_noinferiors = false,
         $is_special = false, $is_root = false, $is_inbox = false, $is_sent = false,
         $is_trash = false, $is_draft = false,  $mbxs = array(),
-        $unseen = false, $total = false;
+        $unseen = false, $total = false, $recent = false;
 
     function addMbx($mbx, $delimiter, $start, $specialfirst) {
         $ary = explode($delimiter, $mbx->mailboxname_full);
@@ -110,8 +110,7 @@ function compact_mailboxes_response($ary) {
      */
     for ($i = 0, $iCnt=count($ary); $i < $iCnt; $i++) {
         if (isset($ary[$i + 1]) && substr($ary[$i], -3) == "}\r\n") {
-            if (ereg("^(\\* [A-Z]+.*)\\{[0-9]+\\}([ \n\r\t]*)$",
-                 $ary[$i], $regs)) {
+            if (preg_match('/^(\* [A-Z]+.*)\{[0-9]+\}([ \n\r\t]*)$/', $ary[$i], $regs)) {
                 $ary[$i] = $regs[1] . '"' . addslashes(trim($ary[$i+1])) . '"' . $regs[2];
                 array_splice($ary, $i+1, 2);
             }
@@ -126,7 +125,7 @@ function compact_mailboxes_response($ary) {
  * (LIST|LSUB) (<Flags list>) (NIL|"<separator atom>") <mailbox name string>\r\n
  * mailbox name in quoted string MUST be unquoted and stripslashed (sm API)
  *
- * Originally stored in functions/strings.php. Since 1.2.6 stored in 
+ * Originally stored in functions/strings.php. Since 1.2.6 stored in
  * functions/imap_mailbox.php
  * @param string $line imap LIST/LSUB response line
  * @return string mailbox name
@@ -142,6 +141,8 @@ function find_mailbox_name($line) {
 
 /**
  * Detects if mailbox has noselect flag (can't store messages)
+ * In versions older than 1.4.5 function checks only LSUB responses
+ * and can produce pcre warnings.
  * @param string $lsub_line mailbox line from untagged LIST or LSUB response
  * @return bool whether this is a Noselect mailbox.
  * @since 1.3.2
@@ -167,11 +168,11 @@ function check_is_noinferiors ($lsub_line) {
  * separator character, returns the second last part of the full
  * mailbox name (i.e. the mailbox's parent mailbox)
  *
- * Originally stored in functions/strings.php. Since 1.2.6 stored in 
+ * Originally stored in functions/strings.php. Since 1.2.6 stored in
  * functions/imap_mailbox.php
  * @param string $haystack full mailbox name
  * @param string $needle delimiter
- * @return string parent mailbox 
+ * @return string parent mailbox
  */
 function readMailboxParent($haystack, $needle) {
     if ($needle == '') {
@@ -214,66 +215,135 @@ function isBoxBelow( $subbox, $parentbox ) {
 /**
  * Defines special mailboxes: given a mailbox name, it checks if this is a
  * "special" one: INBOX, Trash, Sent or Draft.
- * 
- * Since 1.2.5 function includes special_mailbox hook.<br>
+ *
+ * Since 1.2.5 function includes special_mailbox hook.
+ *
  * Since 1.4.3 hook supports more than one plugin.
+ *
+//FIXME: make $subfolders_of_inbox_are_special a configuration setting in conf.pl and config.php
+ * Since 1.4.22/1.5.2, the administrator can add
+ * $subfolders_of_inbox_are_special = TRUE;
+ * to config/config_local.php and all subfolders
+ * of the INBOX will be treated as special.
+ *
  * @param string $box mailbox name
+ * @param boolean $include_subs (since 1.5.2) if true, subfolders of system 
+ *  folders are special. if false, subfolders are not special mailboxes 
+ *  unless they are tagged as special in 'special_mailbox' hook.
  * @return boolean
  * @since 1.2.3
  */
-function isSpecialMailbox( $box ) {
-    $ret = ( (strtolower($box) == 'inbox') ||
-             isTrashMailbox($box) || isSentMailbox($box) || isDraftMailbox($box) );
+function isSpecialMailbox($box,$include_subs=true) {
+    global $subfolders_of_inbox_are_special;
+    $ret = ( ($subfolders_of_inbox_are_special && isInboxMailbox($box,$include_subs)) ||
+             (!$subfolders_of_inbox_are_special && strtolower($box) == 'inbox') ||
+             isTrashMailbox($box,$include_subs) || 
+             isSentMailbox($box,$include_subs) || 
+             isDraftMailbox($box,$include_subs) );
 
     if ( !$ret ) {
-        $ret = boolean_hook_function('special_mailbox',$box,1);
+        $ret = boolean_hook_function('special_mailbox', $box, 1);
     }
     return $ret;
 }
 
+/**
+ * Detects if mailbox is the Inbox folder or subfolder of the Inbox
+ *
+ * @param string $box The mailbox name to test
+ * @param boolean $include_subs If true, subfolders of system folders
+ *                              are special.  If false, subfolders are
+ *                              not special mailboxes.
+ *
+ * @return boolean Whether this is the Inbox or a child thereof.
+ *
+ * @since 1.4.22
+ */
+function isInboxMailbox($box, $include_subs=TRUE) {
+   return ((strtolower($box) == 'inbox')
+        || ($include_subs && isBoxBelow(strtolower($box), 'inbox')));
+}
+
 /**
  * Detects if mailbox is a Trash folder or subfolder of Trash
  * @param string $box mailbox name
+ * @param boolean $include_subs (since 1.5.2) if true, subfolders of system 
+ *  folders are special. if false, subfolders are not special mailboxes.
  * @return bool whether this is a Trash folder
  * @since 1.4.0
  */
-function isTrashMailbox ($box) {
+function isTrashMailbox ($box,$include_subs=true) {
     global $trash_folder, $move_to_trash;
     return $move_to_trash && $trash_folder &&
-           ( $box == $trash_folder || isBoxBelow($box, $trash_folder) );
+           ( $box == $trash_folder || 
+             ($include_subs && isBoxBelow($box, $trash_folder)) );
 }
 
 /**
  * Detects if mailbox is a Sent folder or subfolder of Sent
  * @param string $box mailbox name
+ * @param boolean $include_subs (since 1.5.2) if true, subfolders of system 
+ *  folders are special. if false, subfolders are not special mailboxes.
  * @return bool whether this is a Sent folder
  * @since 1.4.0
  */
-function isSentMailbox($box) {
+function isSentMailbox($box,$include_subs=true) {
    global $sent_folder, $move_to_sent;
    return $move_to_sent && $sent_folder &&
-          ( $box == $sent_folder || isBoxBelow($box, $sent_folder) );
+          ( $box == $sent_folder || 
+            ($include_subs && isBoxBelow($box, $sent_folder)) );
 }
 
 /**
  * Detects if mailbox is a Drafts folder or subfolder of Drafts
  * @param string $box mailbox name
+ * @param boolean $include_subs (since 1.5.2) if true, subfolders of system 
+ *  folders are special. if false, subfolders are not special mailboxes.
  * @return bool whether this is a Draft folder
  * @since 1.4.0
  */
-function isDraftMailbox($box) {
+function isDraftMailbox($box,$include_subs=true) {
    global $draft_folder, $save_as_draft;
    return $save_as_draft &&
-          ( $box == $draft_folder || isBoxBelow($box, $draft_folder) );
+          ( $box == $draft_folder || 
+            ($include_subs && isBoxBelow($box, $draft_folder)) );
+}
+
+/**
+ * Is the given folder "sent-like" in nature?
+ *
+ * The most obvious use of this is to know what folders you usually
+ * want to show the To field instead of the From field on the mailbox list
+ *
+ * This function returns TRUE if the given folder is the sent
+ * folder (or any of its subfolders) or if it is the draft
+ * folder (or any of its subfolders)
+ *
+ * @param string $mailbox
+ *
+ * @return boolean See explanation above
+ *
+ */
+function handleAsSent($mailbox) {
+    global $handleAsSent_result;
+
+    /* First check if this is the sent or draft folder. */
+    $handleAsSent_result = isSentMailbox($mailbox) || isDraftMailbox($mailbox);
+
+    /* Then check the result of the handleAsSent hook. */
+    do_hook('check_handleAsSent_result', $mailbox);
+
+    /* And return the result. */
+    return $handleAsSent_result;
 }
 
 /**
  * Expunges a mailbox
- * 
+ *
  * WARNING: Select mailbox before calling this function.
- * 
- * permanently removes all messages that have the \Deleted flag 
- * set from the selected mailbox. See EXPUNGE command chapter in 
+ *
+ * permanently removes all messages that have the \Deleted flag
+ * set from the selected mailbox. See EXPUNGE command chapter in
  * IMAP RFC.
  * @param stream $imap_stream imap connection resource
  * @param string $mailbox mailbox name (unused since 1.1.3).
@@ -308,33 +378,66 @@ function sqimap_mailbox_expunge ($imap_stream, $mailbox, $handle_errors = true,
 
 /**
  * Checks whether or not the specified mailbox exists
+ *
  * @param stream $imap_stream imap connection resource
  * @param string $mailbox mailbox name
+ * @param array $mailboxlist (since 1.5.1) optional array of mailboxes from
+ *  sqimap_get_mailboxes() (to avoid having to talk to imap server)
  * @return boolean
  * @since 1.0 or older
  */
-function sqimap_mailbox_exists ($imap_stream, $mailbox) {
+function sqimap_mailbox_exists ($imap_stream, $mailbox, $mailboxlist=null) {
     if (!isset($mailbox) || empty($mailbox)) {
         return false;
     }
-    $mbx = sqimap_run_command($imap_stream, 'LIST "" ' . sqimap_encode_mailbox_name($mailbox),
-                              true, $response, $message);
-    return isset($mbx[0]);
+
+    if (is_array($mailboxlist)) {
+        // use previously retrieved mailbox list
+        foreach ($mailboxlist as $mbox) {
+            if ($mbox['unformatted-dm'] == $mailbox) { return true; }
+        }
+        return false;
+    } else {
+        // go to imap server
+        $mbx = sqimap_run_command($imap_stream, 'LIST "" ' . sqimap_encode_mailbox_name($mailbox),
+                                  true, $response, $message);
+        return isset($mbx[0]);
+    }
 }
 
 /**
  * Selects a mailbox
- * Before 1.3.0 used more arguments and returned data depended on those argumements.
+ * Before 1.3.0 used more arguments and returned data depended on those arguments.
  * @param stream $imap_stream imap connection resource
  * @param string $mailbox mailbox name
- * @return array results of select command (on success - permanentflags, flags and rights) 
+ * @return array results of select command (on success - permanentflags, flags and rights)
  * @since 1.0 or older
  */
 function sqimap_mailbox_select ($imap_stream, $mailbox) {
-    if ($mailbox == 'None') {
+    if (empty($mailbox)) {
         return;
     }
 
+    // cleanup $mailbox in order to prevent IMAP injection attacks
+    $mailbox = str_replace(array("\r","\n"), array("",""),$mailbox);
+
+    /**
+     * Default UW IMAP server configuration allows to access other files
+     * on server. $imap_server_type is not checked because interface can
+     * be used with 'other' or any other server type setting. $mailbox
+     * variable can be modified in any script that uses variable from GET
+     * or POST. This code blocks all standard SquirrelMail IMAP API requests
+     * that use mailbox with full path (/etc/passwd) or with ../ characters
+     * in path (../../etc/passwd)
+     */
+    if (strstr($mailbox, '../') || substr($mailbox, 0, 1) == '/') {
+        global $oTemplate;
+        error_box(sprintf(_("Invalid mailbox name: %s"),sm_encode_html_special_chars($mailbox)));
+        sqimap_logout($imap_stream);
+        $oTemplate->display('footer.tpl');
+        die();
+    }
+
     $read = sqimap_run_command($imap_stream, 'SELECT ' . sqimap_encode_mailbox_name($mailbox),
                                true, $response, $message);
     $result = array();
@@ -367,10 +470,10 @@ function sqimap_mailbox_select ($imap_stream, $mailbox) {
  * Creates a folder.
  *
  * Mailbox is automatically subscribed.
- * 
- * Set $type to string that does not match 'noselect' (case insensitive), 
- * if you don't want to prepend delimiter to mailbox name. Please note 
- * that 'noinferiors' might be used someday as keyword for folders 
+ *
+ * Set $type to string that does not match 'noselect' (case insensitive),
+ * if you don't want to prepend delimiter to mailbox name. Please note
+ * that 'noinferiors' might be used someday as keyword for folders
  * that store only messages.
  * @param stream $imap_steam imap connection resource
  * @param string $mailbox mailbox name
@@ -380,11 +483,13 @@ function sqimap_mailbox_select ($imap_stream, $mailbox) {
 function sqimap_mailbox_create ($imap_stream, $mailbox, $type) {
     global $delimiter;
     if (strtolower($type) == 'noselect') {
-        $mailbox .= $delimiter;
+        $create_mailbox = $mailbox . $delimiter;
+    } else {
+        $create_mailbox = $mailbox;
     }
 
     $read_ary = sqimap_run_command($imap_stream, 'CREATE ' .
-                                   sqimap_encode_mailbox_name($mailbox),
+                                   sqimap_encode_mailbox_name($create_mailbox),
                                    true, $response, $message);
     sqimap_subscribe ($imap_stream, $mailbox);
 }
@@ -424,16 +529,21 @@ function sqimap_unsubscribe ($imap_stream, $mailbox) {
 function sqimap_mailbox_delete ($imap_stream, $mailbox) {
     global $data_dir, $username;
     sqimap_unsubscribe ($imap_stream, $mailbox);
-    $read_ary = sqimap_run_command($imap_stream, 'DELETE ' .
-                                   sqimap_encode_mailbox_name($mailbox),
-                                   true, $response, $message);
-    if ($response !== 'OK') {
-        // subscribe again
-        sqimap_subscribe ($imap_stream, $mailbox);
-    } else {
-        do_hook_function('rename_or_delete_folder', $args = array($mailbox, 'delete', ''));
-        removePref($data_dir, $username, "thread_$mailbox");
-        removePref($data_dir, $username, "collapse_folder_$mailbox");
+
+    if (sqimap_mailbox_exists($imap_stream, $mailbox)) {
+
+        $read_ary = sqimap_run_command($imap_stream, 'DELETE ' .
+                                       sqimap_encode_mailbox_name($mailbox),
+                                       true, $response, $message);
+        if ($response !== 'OK') {
+            // subscribe again
+            sqimap_subscribe ($imap_stream, $mailbox);
+        } else {
+            $temp = array(&$mailbox, 'delete', '');
+            do_hook('rename_or_delete_folder', $temp);
+            removePref($data_dir, $username, "thread_$mailbox");
+            removePref($data_dir, $username, "collapse_folder_$mailbox");
+        }
     }
 }
 
@@ -485,7 +595,8 @@ function sqimap_mailbox_rename( $imap_stream, $old_name, $new_name ) {
         sqimap_subscribe($imap_stream, $new_name.$postfix);
         setPref($data_dir, $username, 'thread_'.$new_name.$postfix, $oldpref_thread);
         setPref($data_dir, $username, 'collapse_folder_'.$new_name.$postfix, $oldpref_collapse);
-        do_hook_function('rename_or_delete_folder',$args = array($old_name, 'rename', $new_name));
+        $temp = array(&$old_name, 'rename', &$new_name);
+        do_hook('rename_or_delete_folder', $temp);
         $l = strlen( $old_name ) + 1;
         $p = 'unformatted';
 
@@ -511,8 +622,8 @@ function sqimap_mailbox_rename( $imap_stream, $old_name, $new_name ) {
                 }
                 setPref($data_dir, $username, 'thread_'.$new_sub, $oldpref_thread);
                 setPref($data_dir, $username, 'collapse_folder_'.$new_sub, $oldpref_collapse);
-                do_hook_function('rename_or_delete_folder',
-                                 $args = array($box[$p], 'rename', $new_sub));
+                $temp = array(&$box[$p], 'rename', &$new_sub);
+                do_hook('rename_or_delete_folder', $temp);
             }
         }
     }
@@ -532,17 +643,23 @@ function sqimap_mailbox_rename( $imap_stream, $old_name, $new_name ) {
  *   <li>flags          - TODO: document me
  * </ul>
  * Before 1.2.0 used third argument for delimiter.
- * @param $line
- * @param $line_lsub
+ *
+ * Before 1.5.1 used second argument for lsub line. Argument was removed in order to use
+ * find_mailbox_name() on the raw input. Since 1.5.1 includes RFC3501 names in flags
+ * array (for example, "\NoSelect" in addition to "noselect")
+ * @param array $line
  * @return array
  * @since 1.0 or older
  * @todo document id and flags keys in boxes array and function arguments.
  */
-function sqimap_mailbox_parse ($line, $line_lsub) {
+function sqimap_mailbox_parse ($line) {
     global $folder_prefix, $delimiter;
 
     /* Process each folder line */
-    for ($g = 0, $cnt = count($line); $g < $cnt; ++$g) {
+    ksort($line); // get physical ordering same as alphabetical sort we did before now (might be a better place for this)
+    foreach ($line as $g => $l)
+    // was this but array not guaranteed to be contiguous: for ($g = 0, $cnt = count($line); $g < $cnt; ++$g)
+    {
         /* Store the raw IMAP reply */
         if (isset($line[$g])) {
             $boxesall[$g]['raw'] = $line[$g];
@@ -551,7 +668,7 @@ function sqimap_mailbox_parse ($line, $line_lsub) {
         }
 
         /* Count number of delimiters ($delimiter) in folder name */
-        $mailbox  = /*trim(*/$line_lsub[$g]/*)*/;
+        $mailbox = find_mailbox_name($line[$g]);
         $dm_count = substr_count($mailbox, $delimiter);
         if (substr($mailbox, -1) == $delimiter) {
             /* If name ends in delimiter, decrement count by one */
@@ -588,14 +705,21 @@ function sqimap_mailbox_parse ($line, $line_lsub) {
         $boxesall[$g]['id'] = $g;
 
         $boxesall[$g]['flags'] = array();
-        if (isset($line[$g])) {
-            ereg("\(([^)]*)\)",$line[$g],$regs);
-            // FIXME Flags do contain the \ character. \NoSelect \NoInferiors
-            // and $MDNSent <= last one doesn't have the \
-            // It's better to follow RFC3501 instead of using our own naming.
-            $flags = trim(strtolower(str_replace('\\', '',$regs[1])));
+        if (isset($line[$g]) && preg_match('/\(([^)]*)\)/',$line[$g],$regs) ) {
+            /**
+             * Since 1.5.1 flags are stored with RFC3501 naming
+             * and also the old way for backwards compatibility
+             * so for example "\NoSelect" and "noselect"
+             */
+            $flags = trim($regs[1]);
             if ($flags) {
-                $boxesall[$g]['flags'] = explode(' ', $flags);
+                $flagsarr = explode(' ',$flags);
+                $flagsarrnew=$flagsarr;
+                // add old type
+                foreach ($flagsarr as $flag) {
+                    $flagsarrnew[]=strtolower(str_replace('\\', '',$flag));
+                }
+                $boxesall[$g]['flags']=$flagsarrnew;
             }
         }
     }
@@ -603,39 +727,31 @@ function sqimap_mailbox_parse ($line, $line_lsub) {
 }
 
 /**
- * Returns list of options (to be echoed into select statement
- * based on available mailboxes and separators
- * Caller should surround options with <select ...> </select> and
- * any formatting.
- * @param stream $imap_stream imap connection resource to query for mailboxes
- * @param array $show_selected array containing list of mailboxes to pre-select (0 if none)
- * @param array $folder_skip array of folders to keep out of option list (compared in lower)
- * @param $boxes list of already fetched boxes (for places like folder panel, where
- *            you know these options will be shown 3 times in a row.. (most often unset).
- * @param string $flag (since 1.4.1) flag to check for in mailbox flags, used to filter out mailboxes.
- *           'noselect' by default to remove unselectable mailboxes.
- *           'noinferiors' used to filter out folders that can not contain subfolders.
- *           NULL to avoid flag check entirely.
- *           NOTE: noselect and noiferiors are used internally. The IMAP representation is
- *                 \NoSelect and \NoInferiors
- * @param boolean $use_long_format (since 1.4.1) override folder display preference and always show full folder name.
- * @return string html formated mailbox selection options
- * @since 1.3.2
+ * Returns an array of mailboxes available.  Separated from sqimap_mailbox_option_list()
+ * below for template development.
+ * 
+ * @author Steve Brown
+ * @since 1.5.2
  */
-function sqimap_mailbox_option_list($imap_stream, $show_selected = 0, $folder_skip = 0, $boxes = 0,
+function sqimap_mailbox_option_array($imap_stream, $folder_skip = 0, $boxes = 0,
                                     $flag = 'noselect', $use_long_format = false ) {
-    global $username, $data_dir;
+    global $username, $data_dir, $translate_special_folders, $sent_folder, 
+        $trash_folder, $draft_folder;
+
+    $delimiter = sqimap_get_delimiter($imap_stream);
+
     $mbox_options = '';
     if ( $use_long_format ) {
         $shorten_box_names = 0;
     } else {
-        $shorten_box_names = getPref($data_dir, $username, 'mailbox_select_style', SMPREF_OFF);
+        $shorten_box_names = getPref($data_dir, $username, 'mailbox_select_style', SMPREF_MAILBOX_SELECT_INDENTED);
     }
 
     if ($boxes == 0) {
         $boxes = sqimap_mailbox_list($imap_stream);
     }
 
+    $a = array();
     foreach ($boxes as $boxes_part) {
         if ($flag == NULL || (is_array($boxes_part['flags'])
                       && !in_array($flag, $boxes_part['flags']))) {
@@ -653,29 +769,105 @@ function sqimap_mailbox_option_list($imap_stream, $show_selected = 0, $folder_sk
             } else {
                 switch ($shorten_box_names)
                 {
-                  case 2:   /* delimited, style = 2 */
-                    $box2 = str_replace('&amp;nbsp;&amp;nbsp;', '.&nbsp;', htmlspecialchars($boxes_part['formatted']));
+                  case SMPREF_MAILBOX_SELECT_DELIMITED:
+                      if ($translate_special_folders && $boxes_part['unformatted-dm']==$sent_folder) {
+                          /*
+                           * calculate pad level from number of delimiters. do it inside if control in order 
+                           * to reduce number of calculations. Other folders don't need it.
+                           */
+                          $pad = str_pad('',7 * (count(explode($delimiter,$boxes_part['unformatted-dm']))-1),'.&nbsp;');
+                          // i18n: Name of Sent folder
+                          $box2 = $pad . _("Sent");
+                      } elseif ($translate_special_folders && $boxes_part['unformatted-dm']==$trash_folder) {
+                          $pad = str_pad('',7 * (count(explode($delimiter,$boxes_part['unformatted-dm']))-1),'.&nbsp;');
+                          // i18n: Name of Trash folder
+                          $box2 = $pad . _("Trash");
+                      } elseif ($translate_special_folders && $boxes_part['unformatted-dm']==$draft_folder) {
+                          $pad = str_pad('',7 * (count(explode($delimiter,$boxes_part['unformatted-dm']))-1),'.&nbsp;');
+                          // i18n: Name of Drafts folder
+                          $box2 = $pad . _("Drafts");
+                      } else {
+                          $box2 = str_replace('&amp;nbsp;&amp;nbsp;', '.&nbsp;', sm_encode_html_special_chars($boxes_part['formatted']));
+                      }
                     break;
-                  case 1:   /* indent, style = 1 */
-                    $box2 = str_replace('&amp;nbsp;&amp;nbsp;', '&nbsp;&nbsp;', htmlspecialchars($boxes_part['formatted']));
+                  case SMPREF_MAILBOX_SELECT_INDENTED:
+                      if ($translate_special_folders && $boxes_part['unformatted-dm']==$sent_folder) {
+                          $pad = str_pad('',12 * (count(explode($delimiter,$boxes_part['unformatted-dm']))-1),'&nbsp;&nbsp;');
+                          $box2 = $pad . _("Sent");
+                      } elseif ($translate_special_folders && $boxes_part['unformatted-dm']==$trash_folder) {
+                          $pad = str_pad('',12 * (count(explode($delimiter,$boxes_part['unformatted-dm']))-1),'&nbsp;&nbsp;');
+                          $box2 = $pad . _("Trash");
+                      } elseif ($translate_special_folders && $boxes_part['unformatted-dm']==$draft_folder) {
+                          $pad = str_pad('',12 * (count(explode($delimiter,$boxes_part['unformatted-dm']))-1),'&nbsp;&nbsp;');
+                          $box2 = $pad . _("Drafts");
+                      } else {
+                          $box2 = str_replace('&amp;nbsp;&amp;nbsp;', '&nbsp;&nbsp;', sm_encode_html_special_chars($boxes_part['formatted']));
+                      }
                     break;
                   default:  /* default, long names, style = 0 */
-                    $box2 = str_replace(' ', '&nbsp;', htmlspecialchars(imap_utf7_decode_local($boxes_part['unformatted-disp'])));
+                    $box2 = str_replace(' ', '&nbsp;', sm_encode_html_special_chars(imap_utf7_decode_local($boxes_part['unformatted-disp'])));
                     break;
                 }
             }
-            if ($show_selected != 0 && in_array($lowerbox, $show_selected) ) {
-                $mbox_options .= '<option value="' . htmlspecialchars($box) .'" selected="selected">'.$box2.'</option>' . "\n";
-            } else {
-                $mbox_options .= '<option value="' . htmlspecialchars($box) .'">'.$box2.'</option>' . "\n";
+            
+            $a[sm_encode_html_special_chars($box)] = $box2;
+        }
+    }
+    
+    return $a;
+}
+
+/**
+ * Returns list of options (to be echoed into select statement
+ * based on available mailboxes and separators
+ * Caller should surround options with <select ...> </select> and
+ * any formatting.
+ * @param stream $imap_stream imap connection resource to query for mailboxes
+ * @param array $show_selected array containing list of mailboxes to pre-select (0 if none)
+ * @param array $folder_skip array of folders to keep out of option list (compared in lower)
+ * @param $boxes list of already fetched boxes (for places like folder panel, where
+ *            you know these options will be shown 3 times in a row.. (most often unset).
+ * @param string $flag (since 1.4.1) flag to check for in mailbox flags, used to filter out mailboxes.
+ *           'noselect' by default to remove unselectable mailboxes.
+ *           'noinferiors' used to filter out folders that can not contain subfolders.
+ *           NULL to avoid flag check entirely.
+ *           NOTE: noselect and noiferiors are used internally. The IMAP representation is
+ *                 \NoSelect and \NoInferiors
+ * @param boolean $use_long_format (since 1.4.1) override folder display preference and always show full folder name.
+ * @return string html formated mailbox selection options
+ * @since 1.3.2
+ */
+function sqimap_mailbox_option_list($imap_stream, $show_selected = 0, $folder_skip = 0, $boxes = 0,
+                                    $flag = 'noselect', $use_long_format = false ) {
+    global $username, $data_dir, $translate_special_folders, $sent_folder, 
+        $trash_folder, $draft_folder;
+
+    $boxes = sqimap_mailbox_option_array($imap_stream, $folder_skip, $boxes, $flag, $use_long_format);
+    
+    $str = '';
+    foreach ($boxes as $value=>$option) {
+        $lowerbox = strtolower(sm_encode_html_special_chars($value));
+        $sel = false;
+        if ($show_selected != 0) {
+            reset($show_selected);
+            while (!$sel && (list($x, $val) = each($show_selected))) {
+                if (strtolower($value) == strtolower(sm_encode_html_special_chars($val))) {
+                    $sel = true;
+                }
             }
         }
+        
+        $str .= '<option value="'. $value .'"'. ($sel ? ' selected="selected"' : '').'>'. $option ."</option>\n";
     }
-    return $mbox_options;
+    
+    return $str;
 }
 
 /**
  * Returns sorted mailbox lists in several different ways.
+ *
+ * Since 1.5.1 most of the functionality has been moved to new function sqimap_get_mailboxes
+ *
  * See comment on sqimap_mailbox_parse() for info about the returned array.
  * @param resource $imap_stream imap connection resource
  * @param boolean $force force update of mailbox listing. available since 1.4.2 and 1.5.0
@@ -683,315 +875,346 @@ function sqimap_mailbox_option_list($imap_stream, $show_selected = 0, $folder_sk
  * @since 1.0 or older
  */
 function sqimap_mailbox_list($imap_stream, $force=false) {
+    global $boxesnew,$show_only_subscribed_folders;
     if (!sqgetGlobalVar('boxesnew',$boxesnew,SQ_SESSION) || $force) {
-        global $data_dir, $username, $list_special_folders_first,
-               $folder_prefix, $trash_folder, $sent_folder, $draft_folder,
-               $move_to_trash, $move_to_sent, $save_as_draft,
-               $delimiter, $noselect_fix_enable, $imap_server_type,
-               $show_only_subscribed_folders;
-        $inbox_subscribed = false;
-        $listsubscribed = sqimap_capability($imap_stream,'LIST-SUBSCRIBED');
-
-        require_once(SM_PATH . 'include/load_prefs.php');
-
-        if (!$show_only_subscribed_folders) {
-            $lsub = 'LIST';
-        } elseif ($listsubscribed) {
-            $lsub = 'LIST (SUBSCRIBED)';
-        } else {
-            $lsub = 'LSUB';
-        }
+        $boxesnew=sqimap_get_mailboxes($imap_stream,$force,$show_only_subscribed_folders);
+    }
+    return $boxesnew;
+}
 
-        if ($noselect_fix_enable) {
-            $lsub_args = "$lsub \"$folder_prefix\" \"*%\"";
-        } else {
-            $lsub_args = "$lsub \"$folder_prefix\" \"*\"";
-        }
-        /* LSUB array */
-        $lsub_ary = sqimap_run_command ($imap_stream, $lsub_args,
-                                        true, $response, $message);
-        $lsub_ary = compact_mailboxes_response($lsub_ary);
+/**
+ * Returns a list of all folders, subscribed or not
+ *
+ * Since 1.5.1 code moved to sqimap_get_mailboxes()
+ *
+ * @param stream $imap_stream imap connection resource
+ * @return array see sqimap_mailbox_parse()
+ * @since 1.0 or older
+ */
+function sqimap_mailbox_list_all($imap_stream) {
+    global $show_only_subscribed_folders;
+    // fourth argument prevents registration of retrieved list of mailboxes in session
+    $boxes=sqimap_get_mailboxes($imap_stream,true,false,false);
+    return $boxes;
+}
 
-        $sorted_lsub_ary = array();
-        for ($i = 0, $cnt = count($lsub_ary);$i < $cnt; $i++) {
 
-            $temp_mailbox_name = find_mailbox_name($lsub_ary[$i]);
-            $sorted_lsub_ary[] = $temp_mailbox_name;
-            if (!$inbox_subscribed && strtoupper($temp_mailbox_name) == 'INBOX') {
-                $inbox_subscribed = true;
-            }
-        }
+/**
+ * Gets the list of mailboxes for sqimap_maolbox_tree and sqimap_mailbox_list
+ *
+ * This is because both of those functions had duplicated logic, but with slightly different
+ * implementations. This will make both use the same implementation, which should make it
+ * easier to maintain and easier to modify in the future
+ * @param stream $imap_stream imap connection resource
+ * @param bool $force force a reload and ignore cache
+ * @param bool $show_only_subscribed controls listing of visible or all folders
+ * @param bool $session_register controls registration of retrieved data in session.
+ * @return object boxesnew - array of mailboxes and their attributes
+ * @since 1.5.1
+ */
+function sqimap_get_mailboxes($imap_stream,$force=false,$show_only_subscribed=true,$session_register=true) {
+    global    $show_only_subscribed_folders,$noselect_fix_enable,$folder_prefix,
+            $list_special_folders_first,$imap_server_type;
+    $inbox_subscribed = false;
+    $listsubscribed = sqimap_capability($imap_stream,'LIST-SUBSCRIBED');
+
+    if ($show_only_subscribed) { $show_only_subscribed=$show_only_subscribed_folders; }
+
+    //require_once(SM_PATH . 'include/load_prefs.php');
+
+    /**
+     * There are three main listing commands we can use in IMAP:
+     * LSUB        shows just the list of subscribed folders
+     *            may include flags, but these are not necessarily accurate or authoratative
+     *            \NoSelect has special meaning: the folder does not exist -OR- it means this
+     *            folder is not subscribed but children may be
+     *            [RFC-2060]
+     * LIST        this shows every mailbox on the system
+     *            flags are always included and are accurate and authoratative
+     *            \NoSelect means folder should not be selected
+     *            [RFC-2060]
+     * LIST (SUBSCRIBED)    implemented with LIST-SUBSCRIBED extension
+     *            this is like list but returns only subscribed folders
+     *            flag meanings are like LIST, not LSUB
+     *            \NonExistent means mailbox doesn't exist
+     *            \PlaceHolder means parent is not valid (selectable), but one or more children are
+     *            \NoSelect indeed means that the folder should not be selected
+     *            IMAPEXT-LIST-EXTENSIONS-04 August 2003 B. Leiba
+     */
+    if (!$show_only_subscribed) {
+        $lsub = 'LIST';
+        $sub_cache_name='list_cache';
+    }  elseif ($listsubscribed) {
+        $lsub = 'LIST (SUBSCRIBED)';
+        $sub_cache_name='listsub_cache';
+    } else {
+        $lsub = 'LSUB';
+        $sub_cache_name='lsub_cache';
+    }
 
-        /* natural sort mailboxes */
-        if (isset($sorted_lsub_ary)) {
-            usort($sorted_lsub_ary, 'strnatcasecmp');
-        }
-        /*
-         * The LSUB response doesn't provide us information about \Noselect
-         * mail boxes. The LIST response does, that's why we need to do a LIST
-         * call to retrieve the flags for the mailbox
-           * Note: according RFC2060 an imap server may provide \NoSelect flags in the LSUB response.
-           * in other words, we cannot rely on it.
-         */
-        $sorted_list_ary = array();
- //       if (!$listsubscribed) {
-          for ($i=0; $i < count($sorted_lsub_ary); $i++) {
-            if (substr($sorted_lsub_ary[$i], -1) == $delimiter) {
-                $mbx = substr($sorted_lsub_ary[$i], 0, strlen($sorted_lsub_ary[$i])-1);
-            }
-            else {
-                $mbx = $sorted_lsub_ary[$i];
-            }
+    // Some IMAP servers allow subfolders to exist even if the parent folders do not
+    // This fixes some problems with the folder list when this is the case, causing the
+    // NoSelect folders to be displayed
+    if ($noselect_fix_enable) {
+        $lsub_args = "$lsub \"$folder_prefix\" \"*%\"";
+        $list_args = "LIST \"$folder_prefix\" \"*%\"";
+    } else {
+        $lsub_args = "$lsub \"$folder_prefix\" \"*\"";
+        $list_args = "LIST \"$folder_prefix\" \"*\"";
+    }
 
-            $read = sqimap_run_command ($imap_stream, 'LIST "" ' . sqimap_encode_mailbox_name($mbx),
-                                        true, $response, $message);
+    // get subscribed mailbox list from cache (session)
+    // if not there, then get it from the imap server and store in cache
 
-            $read = compact_mailboxes_response($read);
+    if (!$force) {
+        sqgetGlobalVar($sub_cache_name,$lsub_cache,SQ_SESSION);
+    }
 
-            if (isset($read[0])) {
-                $sorted_list_ary[$i] = $read[0];
-            } else {
-                $sorted_list_ary[$i] = '';
+    $lsub_assoc_ary=array();
+    if (!empty($lsub_cache)) {
+        $lsub_assoc_ary=$lsub_cache;
+    } else {
+        $lsub_ary = sqimap_run_command ($imap_stream, $lsub_args, true, $response, $message);
+        $lsub_ary = compact_mailboxes_response($lsub_ary);
+        if (!empty($lsub_ary)) {
+            foreach ($lsub_ary as $rawline) {
+                $temp_mailbox_name=find_mailbox_name($rawline);
+                $lsub_assoc_ary[$temp_mailbox_name]=$rawline;
             }
-          }
- //       }
-        /*
-         * Just in case they're not subscribed to their inbox,
-         * we'll get it for them anyway
-         */
-        if (!$inbox_subscribed) {
-            $inbox_ary = sqimap_run_command ($imap_stream, 'LIST "" "INBOX"',
-                                             true, $response, $message);
-            $sorted_list_ary[] = implode('',compact_mailboxes_response($inbox_ary));
-            $sorted_lsub_ary[] = find_mailbox_name($inbox_ary[0]);
+            unset($lsub_ary);
+            sqsession_register($lsub_assoc_ary,$sub_cache_name);
         }
+    }
 
-        $boxesall = sqimap_mailbox_parse ($sorted_list_ary, $sorted_lsub_ary);
+    // Now to get the mailbox flags
+    // The LSUB response may return \NoSelect flags, etc. but it is optional
+    // according to RFC3501, and even when returned it may not be accurate
+    // or authoratative. LIST will always return accurate results.
+    if (($lsub == 'LIST') || ($lsub == 'LIST (SUBSCRIBED)')) {
+        // we've already done a LIST or LIST (SUBSCRIBED)
+        // and NOT a LSUB, so no need to do it again
+        $list_assoc_ary  = $lsub_assoc_ary;
+    } else {
+        // we did a LSUB so now we need to do a LIST
+        // first see if it is in cache
+        $list_cache_name='list_cache';
+        if (!$force) {
+            sqgetGlobalVar($list_cache_name,$list_cache,SQ_SESSION);
+        }
 
-        /* Now, lets sort for special folders */
-        $boxesnew = $used = array();
+        if (!empty($list_cache)) {
+            $list_assoc_ary=$list_cache;
+            // we could store this in list_cache_name but not necessary
+        } else {
+            // not in cache so we need to go get it from the imap server
+            $list_assoc_ary = array();
+            $list_ary = sqimap_run_command($imap_stream, $list_args,
+                                           true, $response, $message);
+            $list_ary = compact_mailboxes_response($list_ary);
+            if (!empty($list_ary)) {
+                foreach ($list_ary as $rawline) {
+                    $temp_mailbox_name=find_mailbox_name($rawline);
+                    $list_assoc_ary[$temp_mailbox_name]=$rawline;
+                }
+                unset($list_ary);
+                sqsession_register($list_assoc_ary,$list_cache_name);
+            }
+        }
+    }
 
-        /* Find INBOX */
-        $cnt = count($boxesall);
-        $used = array_pad($used,$cnt,false);
-        for($k = 0; $k < $cnt; ++$k) {
-            if (strtolower($boxesall[$k]['unformatted']) == 'inbox') {
-                $boxesnew[] = $boxesall[$k];
-                $used[$k] = true;
-                break;
+    // If they aren't subscribed to the inbox, then add it anyway (if its in LIST)
+    $inbox_subscribed=false;
+    if (!empty($lsub_assoc_ary)) {
+        foreach ($lsub_assoc_ary as $temp_mailbox_name=>$rawline) {
+            if (strtoupper($temp_mailbox_name) == 'INBOX') {
+                $inbox_subscribed=true;
             }
         }
-        /* List special folders and their subfolders, if requested. */
-        if ($list_special_folders_first) {
-            for($k = 0; $k < $cnt; ++$k) {
-                if (!$used[$k] && isSpecialMailbox($boxesall[$k]['unformatted'])) {
-                    $boxesnew[] = $boxesall[$k];
-                    $used[$k]   = true;
+    }
+    if (!$inbox_subscribed)  {
+        if (!empty($list_assoc_ary)) {
+            foreach ($list_assoc_ary as $temp_mailbox_name=>$rawline) {
+                if (strtoupper($temp_mailbox_name) == 'INBOX') {
+                    $lsub_assoc_ary[$temp_mailbox_name]=$rawline;
                 }
             }
         }
+    }
 
-        /* Find INBOX's children */
-        for($k = 0; $k < $cnt; ++$k) {
-            if (!$used[$k] && isBoxBelow(strtolower($boxesall[$k]['unformatted']), 'inbox') && 
-            strtolower($boxesall[$k]['unformatted']) != 'inbox') {
-                $boxesnew[] = $boxesall[$k];
-                $used[$k] = true;
-            }   
-        }
-        
-        /* Rest of the folders */
-        for($k = 0; $k < $cnt; $k++) {
-            if (!$used[$k]) {
-                $boxesnew[] = $boxesall[$k];
+    // Now we have the raw output, we need to create an array of mailbox names we will return
+    if (!$show_only_subscribed) {
+        $final_folders_assoc_ary=$list_assoc_ary;
+    } else {
+        /**
+         * only show subscribed folders
+         * we need to merge the folders here... we can't trust the flags, etc. from the lsub_assoc_array
+         * so we use the lsub_assoc_array as the list of folders and the values come from list_assoc_array
+         */
+        if (!empty($lsub_assoc_ary)) {
+            foreach ($lsub_assoc_ary as $temp_mailbox_name=>$rawline) {
+                if (!empty($list_assoc_ary[$temp_mailbox_name])) {
+                    $final_folders_assoc_ary[$temp_mailbox_name]=$list_assoc_ary[$temp_mailbox_name];
+                }
             }
         }
-        sqsession_register($boxesnew,'boxesnew');
     }
-    return $boxesnew;
-}
 
-/**
- * Returns a list of all folders, subscribed or not
- * @param stream $imap_stream imap connection resource
- * @return array see sqimap_mailbox_parse()
- * @since 1.0 or older
- */
-function sqimap_mailbox_list_all($imap_stream) {
-    global $list_special_folders_first, $folder_prefix, $delimiter;
 
-    $read_ary = sqimap_run_command($imap_stream,"LIST \"$folder_prefix\" *",true,$response, $message,false);
-    $read_ary = compact_mailboxes_response($read_ary);
+    // Now produce a flat, sorted list
+    if (!empty($final_folders_assoc_ary)) {
+        uksort($final_folders_assoc_ary,'strnatcasecmp');
+        foreach ($final_folders_assoc_ary as $temp_mailbox_name=>$rawline) {
+            $final_folders_ary[]=$rawline;
+        }
+    }
 
-    $g = 0;
-    $fld_pre_length = strlen($folder_prefix);
-    for ($i = 0, $cnt = count($read_ary); $i < $cnt; $i++) {
-        /* Store the raw IMAP reply */
-        $boxes[$g]['raw'] = $read_ary[$i];
+    // this will put it into an array we can use later
+    // containing:
+    // raw    - Raw LIST/LSUB response from the IMAP server
+    // formatted - formatted folder name
+    // unformatted - unformatted, but with the delimiter at the end removed
+    // unformated-dm - folder name as it appears in raw response
+    // unformatted-disp - unformatted without $folder_prefix
+    // id - the array element number (0, 1, 2, etc.)
+    // flags - mailbox flags
+    if (!empty($final_folders_ary)) {
+        $boxesall = sqimap_mailbox_parse($final_folders_ary);
+    } else {
+        // they have no mailboxes
+        $boxesall=array();
+    }
 
-        /* Count number of delimiters ($delimiter) in folder name */
-        $mailbox = find_mailbox_name($read_ary[$i]);
-        $dm_count =  substr_count($mailbox, $delimiter);
-        if (substr($mailbox, -1) == $delimiter) {
-            /* If name ends in delimiter - decrement count by one */
-            $dm_count--;
+    /* Now, lets sort for special folders */
+    $boxesnew = $used = array();
+
+    /* Find INBOX */
+    $cnt = count($boxesall);
+    $used = array_pad($used,$cnt,false);
+    $has_inbox = false;
+    foreach ($boxesall as $k => $b)
+    // was this but array not guaranteed to be contiguous: for($k = 0; $k < $cnt; ++$k)
+    {
+        if (strtoupper($boxesall[$k]['unformatted']) == 'INBOX') {
+            $boxesnew[] = $boxesall[$k];
+            $used[$k] = true;
+            $has_inbox = true;
+            break;
         }
+    }
 
-        /* Format folder name, but only if it's a INBOX.* or has a parent. */
-        $boxesallbyname[$mailbox] = $g;
-        $parentfolder = readMailboxParent($mailbox, $delimiter);
-        if((eregi('^inbox'.quotemeta($delimiter), $mailbox)) ||
-           (ereg('^'.$folder_prefix, $mailbox)) ||
-           ( isset($boxesallbyname[$parentfolder]) && (strlen($parentfolder) > 0) ) ) {
-            if ($dm_count) {
-                $boxes[$g]['formatted']  = str_repeat('&nbsp;&nbsp;', $dm_count);
+    if ($has_inbox == false) {
+        // do a list request for inbox because we should always show
+        // inbox even if the user isn't subscribed to it.
+        $inbox_ary = sqimap_run_command($imap_stream, 'LIST "" "INBOX"',
+                                        true, $response, $message);
+        $inbox_ary = compact_mailboxes_response($inbox_ary);
+        if (count($inbox_ary)) {
+            $inbox_entry = sqimap_mailbox_parse($inbox_ary);
+            // add it on top of the list
+            if (!empty($boxesnew)) {
+                array_unshift($boxesnew,$inbox_entry[0]);
             } else {
-                $boxes[$g]['formatted'] = '';
+                $boxesnew[]=$inbox_entry[0];
             }
-            $boxes[$g]['formatted'] .= imap_utf7_decode_local(readShortMailboxName($mailbox, $delimiter));
-        } else {
-            $boxes[$g]['formatted']  = imap_utf7_decode_local($mailbox);
+            /* array_unshift($used,true); */
         }
+    }
 
-        $boxes[$g]['unformatted-dm'] = $mailbox;
-        if (substr($mailbox, -1) == $delimiter) {
-            $mailbox = substr($mailbox, 0, strlen($mailbox) - 1);
+    /* List special folders and their subfolders, if requested. */
+    if ($list_special_folders_first) {
+        foreach ($boxesall as $k => $b)
+        // was this but array not guaranteed to be contiguous: for($k = 0; $k < $cnt; ++$k)
+        {
+            if (!$used[$k] && isSpecialMailbox($boxesall[$k]['unformatted'])) {
+                $boxesnew[] = $boxesall[$k];
+                $used[$k]   = true;
+            }
         }
-        $boxes[$g]['unformatted'] = $mailbox;
-        $boxes[$g]['unformatted-disp'] = substr($mailbox,$fld_pre_length);
-
-        $boxes[$g]['id'] = $g;
-
-        /* Now lets get the flags for this mailbox */
-        $read_mlbx = $read_ary[$i];
-        $flags = substr($read_mlbx, strpos($read_mlbx, '(')+1);
-        $flags = substr($flags, 0, strpos($flags, ')'));
-        $flags = str_replace('\\', '', $flags);
-        $flags = trim(strtolower($flags));
-        if ($flags) {
-            $boxes[$g]['flags'] = explode(' ', $flags);
+    }
+
+    /* Find INBOX's children */
+    foreach ($boxesall as $k => $b)
+    // was this but array not guaranteed to be contiguous: for($k = 0; $k < $cnt; ++$k)
+    {
+        $isboxbelow=isBoxBelow(strtoupper($boxesall[$k]['unformatted']),'INBOX');
+        if (strtoupper($boxesall[$k]['unformatted']) == 'INBOX') {
+            $is_inbox=1;
         } else {
-            $boxes[$g]['flags'] = array();
+            $is_inbox=0;
+        }
+
+        if (!$used[$k] && $isboxbelow && $is_inbox) {
+            $boxesnew[] = $boxesall[$k];
+            $used[$k] = true;
         }
-        $g++;
-    }
-    if(is_array($boxes)) {
-        sort ($boxes);
     }
 
-    return $boxes;
+    /* Rest of the folders */
+    foreach ($boxesall as $k => $b)
+    // was this but array not guaranteed to be contiguous: for($k = 0; $k < $cnt; ++$k)
+    {
+        if (!$used[$k]) {
+            $boxesnew[] = $boxesall[$k];
+        }
+    }
+    /**
+     * Don't register boxes in session, if $session_register is set to false
+     * Prevents registration of sqimap_mailbox_list_all() results.
+     */
+    if ($session_register) sqsession_register($boxesnew,'boxesnew');
+    return $boxesnew;
 }
 
 /**
+ * Fills mailbox object
+ *
+ * this is passed the mailbox array by left_main.php
+ * who has previously obtained it from sqimap_get_mailboxes
+ * that way, the raw mailbox list is available in left_main to other
+ * things besides just sqimap_mailbox_tree
+ * imap_stream is just used now to get status info
+ *
+ * most of the functionality is moved to sqimap_get_mailboxes
+ * also takes care of TODO items:
+ * caching mailbox tree
+ * config setting for UW imap section (not needed now)
+ *
+ * Some code fragments are present in 1.3.0 - 1.4.4.
  * @param stream $imap_stream imap connection resource
+ * @param array $lsub_ary output array from sqimap_get_mailboxes (contains mailboxes and flags)
  * @return object see mailboxes class.
- * @since 1.3.0
+ * @since 1.5.0
  */
-function sqimap_mailbox_tree($imap_stream) {
-    global $default_folder_prefix;
-    if (true) {
-        global $data_dir, $username, $list_special_folders_first,
-               $folder_prefix, $delimiter, $trash_folder, $move_to_trash,
-               $imap_server_type, $show_only_subscribed_folders;
-
-        $noselect = false;
-        $noinferiors = false;
-
-        require_once(SM_PATH . 'include/load_prefs.php');
-
-        if ($show_only_subscribed_folders) {
-            $lsub_cmd = 'LSUB';
-        } else {
-            $lsub_cmd = 'LIST';
-        }
-
-        /* LSUB array */
-        $lsub_ary = sqimap_run_command ($imap_stream, "$lsub_cmd \"$folder_prefix\" \"*\"",
-                                        true, $response, $message);
-        $lsub_ary = compact_mailboxes_response($lsub_ary);
-
-        /* Check to see if we have an INBOX */
-        $has_inbox = false;
-
-        for ($i = 0, $cnt = count($lsub_ary); $i < $cnt; $i++) {
-            if (preg_match("/^\*\s+$lsub_cmd.*\s\"?INBOX\"?[^(\/\.)].*$/i",$lsub_ary[$i])) {
-                $lsub_ary[$i] = strtoupper($lsub_ary[$i]);
-                // in case of an unsubscribed inbox an imap server can
-                // return the inbox in the lsub results with a \NoSelect
-                // flag.
-                if (!preg_match("/\*\s+$lsub_cmd\s+\(.*\\\\NoSelect.*\).*/i",$lsub_ary[$i])) {
-                    $has_inbox = true;
-                } else {
-                    // remove the result and request it again  with a list
-                    // response at a later stage.
-                    unset($lsub_ary[$i]);
-                    // re-index the array otherwise the addition of the LIST
-                    // response will fail in PHP 4.1.2 and probably other older versions
-                    $lsub_ary = array_values($lsub_ary);
-                }
-                break;
-            }
-        }
-
-        if ($has_inbox == false) {
-            // do a list request for inbox because we should always show
-            // inbox even if the user isn't subscribed to it.
-            $inbox_ary = sqimap_run_command ($imap_stream, 'LIST "" "INBOX"',
-                                             true, $response, $message);
-            $inbox_ary = compact_mailboxes_response($inbox_ary);
-            if (count($inbox_ary)) {
-                $lsub_ary[] = $inbox_ary[0];
-            }
-        }
-
-        /*
-         * Section about removing the last element was removed
-         * We don't return "* OK" anymore from sqimap_read_data
+function sqimap_mailbox_tree($imap_stream,$lsub_ary) {
+
+    $sorted_lsub_ary = array();
+    $cnt = count($lsub_ary);
+    for ($i = 0; $i < $cnt; $i++) {
+        $mbx=$lsub_ary[$i]['unformatted'];
+        $flags=$lsub_ary[$i]['flags'];
+
+        $noinferiors=0;
+        if (in_array('\Noinferiors',$flags)) { $noinferiors=1; }
+        if (in_array('\NoInferiors',$flags)) { $noinferiors=1; }
+        if (in_array('\HasNoChildren',$flags)) { $noinferiors=1; }
+
+        $noselect=0;
+        if (in_array('\NoSelect',$flags)) { $noselect=1; }
+        /**
+         * LIST (SUBSCRIBED) has two new flags, \NonExistent which means the mailbox is subscribed to
+         * but doesn't exist, and \PlaceHolder which is similar (but not the same) as \NoSelect
+         * For right now, we'll treat these the same as \NoSelect and this behavior can be changed
+         * later if needed
          */
-
-        $sorted_lsub_ary = array();
-        $cnt = count($lsub_ary);
-        for ($i = 0; $i < $cnt; $i++) {
-            $mbx = find_mailbox_name($lsub_ary[$i]);
-
-            // only do the noselect test if !uw, is checked later. FIX ME see conf.pl setting
-            if ($imap_server_type != "uw") {
-                $noselect = check_is_noselect($lsub_ary[$i]);
-                $noinferiors = check_is_noinferiors($lsub_ary[$i]);
-            }
-            if (substr($mbx, -1) == $delimiter) {
-                $mbx = substr($mbx, 0, strlen($mbx) - 1);
-            }
-            $sorted_lsub_ary[] = array ('mbx' => $mbx, 'noselect' => $noselect, 'noinferiors' => $noinferiors);
-        }
-        // FIX ME this requires a config setting inside conf.pl instead of checking on server type
-        if ($imap_server_type == "uw") {
-           $aQuery = array();
-           $aTag = array();
-           // prepare an array with queries
-           foreach ($sorted_lsub_ary as $aMbx) {
-               $mbx = stripslashes($aMbx['mbx']);
-               sqimap_prepare_pipelined_query('LIST "" ' . sqimap_encode_mailbox_name($mbx), $tag, $aQuery, false);
-               $aTag[$tag] = $mbx;
-           }
-           $sorted_lsub_ary = array();
-           // execute all the queries at once
-           $aResponse = sqimap_run_pipelined_command ($imap_stream, $aQuery, false, $aServerResponse, $aServerMessage);
-           foreach($aTag as $tag => $mbx) {
-               if ($aServerResponse[$tag] == 'OK') {
-                   $sResponse = implode('', $aResponse[$tag]);
-                   $noselect = check_is_noselect($sResponse);
-                   $noinferiors = check_is_noinferiors($sResponse);
-                   $sorted_lsub_ary[] = array ('mbx' => $mbx, 'noselect' => $noselect, 'noinferiors' => $noinferiors);
-               }
-           }
-           $cnt = count($sorted_lsub_ary);
-       }
-       $sorted_lsub_ary = array_values($sorted_lsub_ary);
-       usort($sorted_lsub_ary, 'mbxSort');
-       $boxestree = sqimap_fill_mailbox_tree($sorted_lsub_ary,false,$imap_stream);
-       return $boxestree;
+        if (in_array('\NonExistent',$flags)) { $noselect=1; }
+        if (in_array('\PlaceHolder',$flags)) { $noselect=1; }
+        $sorted_lsub_ary[] = array ('mbx' => $mbx, 'noselect' => $noselect, 'noinferiors' => $noinferiors);
     }
+
+    $sorted_lsub_ary = array_values($sorted_lsub_ary);
+    usort($sorted_lsub_ary, 'mbxSort');
+    $boxestree = sqimap_fill_mailbox_tree($sorted_lsub_ary,false,$imap_stream);
+    return $boxestree;
 }
 
 /**
@@ -1006,11 +1229,14 @@ function mbxSort($a, $b) {
 }
 
 /**
+ * Fills mailbox object
+ *
+ * Some code fragments are present in 1.3.0 - 1.4.4.
  * @param array $mbx_ary
  * @param $mbxs
- * @param stream $imap_stream (since 1.5.0) imap connection resource
+ * @param stream $imap_stream imap connection resource
  * @return object see mailboxes class
- * @since 1.3.0
+ * @since 1.5.0
  */
 function sqimap_fill_mailbox_tree($mbx_ary, $mbxs=false,$imap_stream) {
     global $data_dir, $username, $list_special_folders_first,
@@ -1026,7 +1252,6 @@ function sqimap_fill_mailbox_tree($mbx_ary, $mbxs=false,$imap_stream) {
     $trail_del = false;
     $start = 0;
 
-
     if (isset($folder_prefix) && ($folder_prefix != '')) {
         $start = substr_count($folder_prefix,$delimiter);
         if (strrpos($folder_prefix, $delimiter) == (strlen($folder_prefix)-1)) {
@@ -1047,46 +1272,15 @@ function sqimap_fill_mailbox_tree($mbx_ary, $mbxs=false,$imap_stream) {
             $mailbox = $mbx_ary[$i]['mbx'];
 
             /*
-                sent subfolders messes up using existing code as subfolders
-                were marked, but the parents were ordered somewhere else in
-                the list, despite having "special folders at top" option set.
-                Need a better method than this.
-            */
-/*
-            if ($mailbox == 'INBOX') {
-                $mbx->is_special = true;
-            } elseif (stristr($trash_folder , $mailbox)) {
-                $mbx->is_special = true;
-            } elseif (stristr($sent_folder , $mailbox)) {
-                $mbx->is_special = true;
-            } elseif (stristr($draft_folder , $mailbox)) {
-                $mbx->is_special = true;
-            }
-
-            switch ($mailbox) {
-                case 'INBOX':
-                    $mbx->is_inbox = true;
-                    $mbx->is_special = true;
-                    $mbx_ary[$i]['noselect'] = false;
-                    break;
-                case $trash_folder:
-                    $mbx->is_trash = true;
-                    $mbx->is_special = true;
-                    break;
-                case $sent_folder:
-                    $mbx->is_sent = true;
-                    $mbx->is_special = true;
-                    break;
-                case $draft_folder:
-                    $mbx->is_draft = true;
-                    $mbx->is_special = true;
-                    break;
-            }
-*/
+             * Set the is_special flag if it concerned a special mailbox.
+             * Used for displaying the special folders on top in the mailbox
+             * tree displaying code.
+             */
             $mbx->is_special |= ($mbx->is_inbox = (strtoupper($mailbox) == 'INBOX'));
             $mbx->is_special |= ($mbx->is_trash = isTrashMailbox($mailbox));
             $mbx->is_special |= ($mbx->is_sent = isSentMailbox($mailbox));
             $mbx->is_special |= ($mbx->is_draft = isDraftMailbox($mailbox));
+
             if (!$mbx->is_special)
                 $mbx->is_special = boolean_hook_function('special_mailbox', $mailbox, 1);
 
@@ -1121,16 +1315,27 @@ function sqimap_fill_mailbox_tree($mbx_ary, $mbxs=false,$imap_stream) {
  * @since 1.5.0
  */
 function sqimap_utf7_decode_mbx_tree(&$mbx_tree) {
-   if (strtoupper($mbx_tree->mailboxname_full) == 'INBOX')
-       $mbx_tree->mailboxname_sub = _("INBOX");
-   else
-       $mbx_tree->mailboxname_sub = imap_utf7_decode_local($mbx_tree->mailboxname_sub);
-   if ($mbx_tree->mbxs) {
-      $iCnt = count($mbx_tree->mbxs);
-      for ($i=0;$i<$iCnt;++$i) {
-          $mbxs_tree->mbxs[$i] = sqimap_utf7_decode_mbx_tree($mbx_tree->mbxs[$i]);
-      }
-   }
+    global $draft_folder, $sent_folder, $trash_folder, $translate_special_folders;
+
+    /* decode folder name and set mailboxname_sub */
+    if ($translate_special_folders && strtoupper($mbx_tree->mailboxname_full) == 'INBOX') {
+        $mbx_tree->mailboxname_sub = _("INBOX");
+    } elseif ($translate_special_folders && $mbx_tree->mailboxname_full == $draft_folder) {
+        $mbx_tree->mailboxname_sub = _("Drafts");
+    } elseif ($translate_special_folders && $mbx_tree->mailboxname_full == $sent_folder) {
+        $mbx_tree->mailboxname_sub = _("Sent");
+    } elseif ($translate_special_folders && $mbx_tree->mailboxname_full == $trash_folder) {
+        $mbx_tree->mailboxname_sub = _("Trash");
+    } else {
+        $mbx_tree->mailboxname_sub = imap_utf7_decode_local($mbx_tree->mailboxname_sub);
+    }
+
+    if ($mbx_tree->mbxs) {
+        $iCnt = count($mbx_tree->mbxs);
+        for ($i=0;$i<$iCnt;++$i) {
+            sqimap_utf7_decode_mbx_tree($mbx_tree->mbxs[$i]);
+        }
+    }
 }
 
 /**
@@ -1169,13 +1374,13 @@ function sqimap_get_status_mbx_tree($imap_stream,&$mbx_tree) {
                 $mbx = $oMbx->mailboxname_full;
                 if ($unseen_type == 2 ||
                    ($move_to_trash && $oMbx->mailboxname_full == $trash_folder)) {
-                   $query = 'STATUS ' . sqimap_encode_mailbox_name($mbx) . ' (MESSAGES UNSEEN)';
+                   $query = 'STATUS ' . sqimap_encode_mailbox_name($mbx) . ' (MESSAGES UNSEEN RECENT)';
                 } else {
-                   $query = 'STATUS ' . sqimap_encode_mailbox_name($mbx) . ' (UNSEEN)';
+                   $query = 'STATUS ' . sqimap_encode_mailbox_name($mbx) . ' (UNSEEN RECENT)';
                 }
                 sqimap_prepare_pipelined_query($query,$tag,$aQuery,false);
             } else {
-                $oMbx->unseen = $oMbx->total = false;
+                $oMbx->unseen = $oMbx->total = $oMbx->recent = false;
                 $tag = false;
             }
             $oMbx->tag = $tag;
@@ -1195,6 +1400,10 @@ function sqimap_get_status_mbx_tree($imap_stream,&$mbx_tree) {
                 if (preg_match('/MESSAGES\s+([0-9]+)/i', $sResponse, $regs)) {
                     $oMbx->total = $regs[1];
                 }
+                if (preg_match('/RECENT\s+([0-9]+)/i', $sResponse, $regs)) {
+                    $oMbx->recent = $regs[1];
+                }
+
            }
            unset($oMbx->tag);
         }
@@ -1209,6 +1418,7 @@ function sqimap_get_status_mbx_tree($imap_stream,&$mbx_tree) {
                     $aStatus = sqimap_status_messages($imap_stream,$oMbx->mailboxname_full);
                     $oMbx->unseen = $aStatus['UNSEEN'];
                     $oMbx->total  = $aStatus['MESSAGES'];
+                    $oMbx->recent = $aStatus['RECENT'];
                 } else {
                     $oMbx->unseen = sqimap_unseen_messages($imap_stream,$oMbx->mailboxname_full);
                 }
@@ -1224,6 +1434,61 @@ function sqimap_get_status_mbx_tree($imap_stream,&$mbx_tree) {
             }
         }
     }
+
+    $cnt = count($aMbxs);
+    for($i=0;$i<$cnt;++$i) {
+         $oMbx =& $aMbxs[$i];
+         unset($hook_status);
+         if (!empty($oMbx->unseen)) { $hook_status['UNSEEN']=$oMbx->unseen; }
+         if (!empty($oMbx->total)) { $hook_status['MESSAGES']=$oMbx->total; }
+         if (!empty($oMbx->recent)) { $hook_status['RECENT']=$oMbx->recent; }
+         if (!empty($hook_status))
+         {
+              $hook_status['MAILBOX']=$oMbx->mailboxname_full;
+              $hook_status['CALLER']='sqimap_get_status_mbx_tree'; // helps w/ debugging
+              do_hook('folder_status', $hook_status);
+         }
+    }
 }
 
-?>
\ No newline at end of file
+/**
+ * Checks if folder is noselect (can't store messages)
+ *
+ * Function does not check if folder subscribed.
+ * @param stream $oImapStream imap connection resource
+ * @param string $sImapFolder imap folder name
+ * @param object $oBoxes mailboxes class object.
+ * @return boolean true, when folder has noselect flag. false in any other case.
+ * @since 1.5.1
+ */
+function sqimap_mailbox_is_noselect($oImapStream,$sImapFolder,&$oBoxes) {
+    // build mailbox object if it is not available
+    if (! is_object($oBoxes)) $oBoxes=sqimap_mailbox_list($oImapStream);
+    foreach($oBoxes as $box) {
+        if ($box['unformatted']==$sImapFolder) {
+            return (bool) check_is_noselect($box['raw']);
+        }
+    }
+    return false;
+}
+
+/**
+ * Checks if folder is noinferiors (can't store other folders)
+ *
+ * Function does not check if folder subscribed.
+ * @param stream $oImapStream imap connection resource
+ * @param string $sImapFolder imap folder name
+ * @param object $oBoxes mailboxes class object.
+ * @return boolean true, when folder has noinferiors flag. false in any other case.
+ * @since 1.5.1
+ */
+function sqimap_mailbox_is_noinferiors($oImapStream,$sImapFolder,&$oBoxes) {
+    // build mailbox object if it is not available
+    if (! is_object($oBoxes)) $oBoxes=sqimap_mailbox_list($oImapStream);
+    foreach($oBoxes as $box) {
+        if ($box['unformatted']==$sImapFolder) {
+            return (bool) check_is_noinferiors($box['raw']);
+        }
+    }
+    return false;
+}