Adding last two functions from i18n.php
[squirrelmail.git] / functions / i18n.php
index 834677345bd91c962417aff2c2bc72b7f86f0126..c492755ff09c67fe05242fdfb1ad5389cda702cf 100644 (file)
  * encoded using Unicode entities according to HTML 4.0.
  *
  * $Id$
+ * @package squirrelmail
  */
 
+/** Everything uses global.php... */
 require_once(SM_PATH . 'functions/global.php');
 
-/* Decodes a string to the internal encoding from the given charset */
+/**
+ * Converts string from given charset to charset, that can be displayed by user translation.
+ *
+ * Function by default returns html encoded strings, if translation uses different encoding.
+ * If Japanese translation is used - function returns string converted to euc-jp
+ * If iconv or recode functions are enabled and translation uses utf-8 - function returns utf-8 encoded string.
+ * If $charset is not supported - function returns unconverted string.
+ * 
+ * sanitizing of html tags is also done by this function.
+ *
+ * @param string $charset
+ * @param string $string Text to be decoded
+ * @return string decoded string
+ */
 function charset_decode ($charset, $string) {
     global $languages, $squirrelmail_language, $default_charset;
+    global $use_php_recode, $use_php_iconv, $agresive_decoding;
 
     if (isset($languages[$squirrelmail_language]['XTRA_CODE']) &&
         function_exists($languages[$squirrelmail_language]['XTRA_CODE'])) {
@@ -31,8 +47,10 @@ function charset_decode ($charset, $string) {
     set_my_charset();
 
     // Variables that allow to use functions without function_exist() calls
-    $use_php_recode=false;
-    $use_php_iconv=false;
+    if (! isset($use_php_recode) || $use_php_recode=="" ) {
+            $use_php_recode=false; }
+    if (! isset($use_php_iconv) || $use_php_iconv=="" ) {
+         $use_php_iconv=false; }
 
     // Don't do conversion if charset is the same.
     if ( $charset == strtolower($default_charset) )
@@ -74,112 +92,52 @@ function charset_decode ($charset, $string) {
     $string = htmlspecialchars ($string);
 
     /* controls cpu and memory intensive decoding cycles */
-    $agresive_decoding = false;
-
-    if (ereg('iso-8859-([[:digit:]]+)', $charset, $res)) {
-        if ($res[1] == '1') {
-           include_once(SM_PATH . 'functions/decode/iso8859-1.php');
-            $ret = charset_decode_iso8859_1 ($string);
-        } else if ($res[1] == '2') {
-           include_once(SM_PATH . 'functions/decode/iso8859-2.php');
-            $ret = charset_decode_iso8859_2 ($string);
-        } else if ($res[1] == '3') {
-           include_once(SM_PATH . 'functions/decode/iso8859-3.php');
-            $ret = charset_decode_iso8859_3 ($string);
-        } else if ($res[1] == '4') {
-           include_once(SM_PATH . 'functions/decode/iso8859-4.php');
-            $ret = charset_decode_iso8859_4 ($string);
-        } else if ($res[1] == '5') {
-           include_once(SM_PATH . 'functions/decode/iso8859-5.php');
-            $ret = charset_decode_iso8859_5 ($string);
-        } else if ($res[1] == '6') {
-           include_once(SM_PATH . 'functions/decode/iso8859-6.php');
-            $ret = charset_decode_iso8859_6 ($string);
-        } else if ($res[1] == '7') {
-           include_once(SM_PATH . 'functions/decode/iso8859-7.php');
-            $ret = charset_decode_iso8859_7 ($string);
-        } else if ($res[1] == '8') {
-           include_once(SM_PATH . 'functions/decode/iso8859-8.php');
-            $ret = charset_decode_iso8859_8 ($string);
-        } else if ($res[1] == '9') {
-           include_once(SM_PATH . 'functions/decode/iso8859-9.php');
-            $ret = charset_decode_iso8859_9 ($string);
-        } else if ($res[1] == '10') {
-           include_once(SM_PATH . 'functions/decode/iso8859-10.php');
-            $ret = charset_decode_iso8859_10 ($string);
-        } else if ($res[1] == '11') {
-           include_once(SM_PATH . 'functions/decode/iso8859-11.php');
-            $ret = charset_decode_iso8859_11 ($string);
-        } else if ($res[1] == '13') {
-           include_once(SM_PATH . 'functions/decode/iso8859-13.php');
-            $ret = charset_decode_iso8859_13 ($string);
-        } else if ($res[1] == '14') {
-           include_once(SM_PATH . 'functions/decode/iso8859-14.php');
-            $ret = charset_decode_iso8859_14 ($string);
-        } else if ($res[1] == '15') {
-           include_once(SM_PATH . 'functions/decode/iso8859-15.php');
-            $ret = charset_decode_iso8859_15 ($string);
-        } else if ($res[1] == '16') {
-           include_once(SM_PATH . 'functions/decode/iso8859-16.php');
-            $ret = charset_decode_iso8859_16 ($string);
-        } else {
-            $ret = charset_decode_iso_8859_default ($string);
-        }
-    } else if ($charset == 'ns_4551-1') {
-        $ret = charset_decode_ns_4551_1 ($string);
-    } else if ($charset == 'koi8-r') {
-        include_once(SM_PATH . 'functions/decode/koi8-r.php');
-        $ret = charset_decode_koi8r ($string);
-    } else if ($charset == 'koi8-u') {
-        include_once(SM_PATH . 'functions/decode/koi8-u.php');
-        $ret = charset_decode_koi8u ($string);
-    } else if ($charset == 'windows-1250') {
-        include_once(SM_PATH . 'functions/decode/cp1250.php');
-        $ret = charset_decode_cp1250 ($string);
-    } else if ($charset == 'windows-1251') {
-        include_once(SM_PATH . 'functions/decode/cp1251.php');
-        $ret = charset_decode_cp1251 ($string);
-    } else if ($charset == 'windows-1252') {
-        include_once(SM_PATH . 'functions/decode/cp1252.php');
-        $ret = charset_decode_cp1252 ($string);
-    } else if ($charset == 'windows-1253') {
-        include_once(SM_PATH . 'functions/decode/cp1253.php');
-       $ret = charset_decode_cp1253 ($string);
-    } else if ($charset == 'windows-1254') {
-        include_once(SM_PATH . 'functions/decode/cp1254.php');
-       $ret = charset_decode_cp1254 ($string);
-    } else if ($charset == 'windows-1255') {
-        include_once(SM_PATH . 'functions/decode/cp1255.php');
-       $ret = charset_decode_cp1255 ($string);
-    } else if ($charset == 'windows-1256') {
-        include_once(SM_PATH . 'functions/decode/cp1256.php');
-       $ret = charset_decode_cp1256 ($string);
-    } else if ($charset == 'windows-1257') {
-        include_once(SM_PATH . 'functions/decode/cp1257.php');
-        $ret = charset_decode_cp1257 ($string);
-    } else if ($charset == 'windows-1258') {
-        include_once(SM_PATH . 'functions/decode/cp1258.php');
-        $ret = charset_decode_cp1258 ($string);
-    } else if ($charset == 'tis-620') {
-        include_once(SM_PATH . 'functions/decode/tis620.php');
-        $ret = charset_decode_tis620 ($string);
-    } else if ($charset == 'big5' and $agresive_decoding ) {
-        include_once(SM_PATH . 'functions/decode/big5.php');
-        $ret = charset_decode_big5 ($string);
-    } else if ($charset == 'gb2312' and $agresive_decoding ) {
-        include_once(SM_PATH . 'functions/decode/gb2312.php');
-        $ret = charset_decode_gb2312 ($string);
-    } else if ($charset == 'utf-8') {
-        include_once(SM_PATH . 'functions/decode/utf-8.php');
-       $ret = charset_decode_utf8 ($string);
+    if (! isset($agresive_decoding) || $agresive_decoding=="" ) {
+         $agresive_decoding=false; }
+
+    $decode=fixcharset($charset);
+    $decodefile=SM_PATH . 'functions/decode/' . $decode . '.php';
+    if (file_exists($decodefile)) {
+       include_once($decodefile);
+       $ret = call_user_func('charset_decode_'.$decode, $string);
     } else {
-        $ret = $string;
+       $ret = $string;
     }
     return( $ret );
 }
+                                                                                                                                          
+/**
+ * Makes charset name suitable for decoding cycles
+ *
+ * @param string $charset Name of charset
+ * @return string $charset Adjusted name of charset
+ */
+function fixcharset($charset) {
+    // minus removed from function names
+    $charset=str_replace('-','_',$charset);
+    
+    // windows-125x and cp125x charsets
+    $charset=str_replace('windows_','cp',$charset);
 
+    // ibm > cp
+    $charset=str_replace('ibm','cp',$charset);
 
-/* Remove all 8 bit characters from all other ISO-8859 character sets */
+    // iso-8859-8-i -> iso-8859-8
+    // use same cycle until I'll find differences
+    $charset=str_replace('iso_8859_8_i','iso_8859_8',$charset);
+
+    return $charset;
+}
+
+/**
+ * 8bit cleanup functions.
+ *
+ * Replaces all 8 bit characters from ISO-8859 character sets with '?'
+ * Legacy function used for unsupported ISO-8859 charsets
+ * 
+ * @param string $string string that has to be cleaned
+ * @return string cleaned string
+ */
 function charset_decode_iso_8859_default ($string) {
     return (strtr($string, "\240\241\242\243\244\245\246\247".
                     "\250\251\252\253\254\255\256\257".
@@ -200,9 +158,14 @@ function charset_decode_iso_8859_default ($string) {
 
 }
 
-/*
+/**
+ * ns_4551_1 decoding function
+ *
  * This is the same as ISO-646-NO and is used by some
  * Microsoft programs when sending Norwegian characters
+ * 
+ * @param string $string
+ * @return string 
  */
 function charset_decode_ns_4551_1 ($string) {
     /*
@@ -216,17 +179,30 @@ function charset_decode_ns_4551_1 ($string) {
 }
 
 
-/*
+/**
  * Set up the language to be output
  * if $do_search is true, then scan the browser information
  * for a possible language that we know
+ *
+ * Function sets system locale environment (LC_ALL, LANG, LANGUAGE), 
+ * gettext translation bindings and html header information.
+ *
+ * Function returns error codes, if there is some fatal error.
+ *  0 = no error, 
+ *  1 = mbstring support is not present, 
+ *  2 = mbstring support is not present, user's translation reverted to en_US.
+ *
+ * @param string $sm_language translation used by user's interface
+ * @param bool $do_search use browser's preferred language detection functions. Defaults to false.
+ * @param bool $default set $sm_language to $squirrelmail_default_language if language detection fails or language is not set. Defaults to false.
+ * @return int function execution error codes. 
  */
 function set_up_language($sm_language, $do_search = false, $default = false) {
 
     static $SetupAlready = 0;
     global $use_gettext, $languages,
            $squirrelmail_language, $squirrelmail_default_language,
-           $sm_notAlias;
+           $sm_notAlias, $username, $data_dir;
 
     if ($SetupAlready) {
         return;
@@ -264,7 +240,11 @@ function set_up_language($sm_language, $do_search = false, $default = false) {
         bindtextdomain( 'squirrelmail', SM_PATH . 'locale/' );
         textdomain( 'squirrelmail' );
        if (function_exists('bind_textdomain_codeset')) {
-            bind_textdomain_codeset ("squirrelmail", $languages[$sm_notAlias]['CHARSET'] );
+            if ($sm_notAlias == 'ja_JP') {
+               bind_textdomain_codeset ("squirrelmail", 'EUC-JP');
+            } else {
+               bind_textdomain_codeset ("squirrelmail", $languages[$sm_notAlias]['CHARSET'] );
+           }
        }
        if (isset($languages[$sm_notAlias]['LOCALE'])){
          $longlocale=$languages[$sm_notAlias]['LOCALE'];
@@ -278,11 +258,32 @@ function set_up_language($sm_language, $do_search = false, $default = false) {
             putenv( "LANGUAGE=$longlocale" );
         }
        setlocale(LC_ALL, $longlocale);
+
+       // Set text direction/alignment variables
+       if (isset($languages[$sm_notAlias]['DIR']) && 
+               $languages[$sm_notAlias]['DIR'] == 'rtl') {
+           $text_direction='rtl';
+           $left_align='right';
+           $right_align='left';
+       } else {
+           $text_direction='ltr';
+           $left_align='left';
+           $right_align='right';
+       }
+
        $squirrelmail_language = $sm_notAlias;
-        if ($squirrelmail_language == 'ja_JP' && function_exists('mb_detect_encoding') ) {
+        if ($squirrelmail_language == 'ja_JP') {
             header ('Content-Type: text/html; charset=EUC-JP');
             if (!function_exists('mb_internal_encoding')) {
-                echo _("You need to have php4 installed with the multibyte string function enabled (using configure option --enable-mbstring).");
+               // Error messages can't be displayed here
+               $error = 1;
+               // Revert to English if possible.
+               if (function_exists('setPref')  && $username!='' && $data_dir!="") {
+                   setPref($data_dir, $username, 'language', "en_US");
+                   $error = 2;         
+               }
+               // stop further execution in order not to get php errors on mb_internal_encoding().
+               return $error;
             }
             if (function_exists('mb_language')) {
                 mb_language('Japanese');
@@ -293,19 +294,25 @@ function set_up_language($sm_language, $do_search = false, $default = false) {
         header( 'Content-Type: text/html; charset=' . $languages[$sm_notAlias]['CHARSET'] );
     }
 }
+    return 0;
 }
 
+/**
+ * Sets default_charset variable according to the one that is used by user's translations.
+ *
+ * Function changes global $default_charset variable in order to be sure, that it
+ * contains charset used by user's translation. Sanity of $squirrelmail_default_language
+ * and $default_charset combination provided in SquirrelMail config is also tested.
+ *
+ * There can be a $default_charset setting in the
+ * config.php file, but the user may have a different language
+ * selected for a user interface. This function checks the
+ * language selected by the user and tags the outgoing messages
+ * with the appropriate charset corresponding to the language
+ * selection. This is "more right" (tm), than just stamping the
+ * message blindly with the system-wide $default_charset.
+ */
 function set_my_charset(){
-
-    /*
-     * There can be a $default_charset setting in the
-     * config.php file, but the user may have a different language
-     * selected for a user interface. This function checks the
-     * language selected by the user and tags the outgoing messages
-     * with the appropriate charset corresponding to the language
-     * selection. This is "more right" (tm), than just stamping the
-     * message blindly with the system-wide $default_charset.
-     */
     global $data_dir, $username, $default_charset, $languages, $squirrelmail_default_language;
 
     $my_language = getPref($data_dir, $username, 'language');
@@ -333,226 +340,233 @@ if (! isset($squirrelmail_language)) {
     $squirrelmail_language = '';
 }
 
-/* This array specifies the available languages. */
-
-if ( file_exists( SM_PATH . 'locale/ca_ES') ) {
-    // The glibc locale is ca_ES.
-    $languages['ca_ES']['NAME']    = 'Catalan';
-    $languages['ca_ES']['CHARSET'] = 'iso-8859-1';
-    $languages['ca']['ALIAS'] = 'ca_ES';
-}
-
-if ( file_exists( SM_PATH . 'locale/cs_CZ') ) {
-    $languages['cs_CZ']['NAME']    = 'Czech';
-    $languages['cs_CZ']['CHARSET'] = 'iso-8859-2';
-    $languages['cs']['ALIAS']      = 'cs_CZ';
-}
-
-if ( file_exists( SM_PATH . 'locale/da_DK') ) {
-    // Danish locale is da_DK.
-    $languages['da_DK']['NAME']    = 'Danish';
-    $languages['da_DK']['CHARSET'] = 'iso-8859-1';
-    $languages['da']['ALIAS'] = 'da_DK';
-}
-
-if ( file_exists( SM_PATH . 'locale/de_DE') ) {
-    $languages['de_DE']['NAME']    = 'Deutsch';
-    $languages['de_DE']['CHARSET'] = 'iso-8859-1';
-    $languages['de']['ALIAS'] = 'de_DE';
-}
-
-// There is no en_EN! There is en_US, en_BR, en_AU, and so forth, 
-// but who cares about !US, right? Right? :)
-
-if ( file_exists( SM_PATH . 'locale/el_GR') ) {
-    $languages['el_GR']['NAME']    = 'Greek';
-    $languages['el_GR']['CHARSET'] = 'iso-8859-7';
-    $languages['el']['ALIAS'] = 'el_GR';
-}
+/**
+ * Array specifies the available translations.
+ *
+ * Structure of array:
+ * $languages['language']['variable'] = 'value'
+ * 
+ * Possible 'variable' names:
+ *  NAME      - Translation name in English
+ *  CHARSET   - Encoding used by translation
+ *  ALIAS     - used when 'language' is only short name and 'value' should provide long language name
+ *  ALTNAME   - Native translation name. Any 8bit symbols must be html encoded.
+ *  LOCALE    - Full locale name (in xx_XX.charset format)
+ *  DIR       - Text direction. Used to define Right-to-Left languages. Possible values 'rtl' or 'ltr'. If undefined - defaults to 'ltr'
+ *  XTRA_CODE - translation uses special functions. 'value' provides name of that extra function
+ * 
+ * Each 'language' definition requires NAME+CHARSET or ALIAS variables.
+ *
+ * @name $languages
+ * @global $languages
+ */
+$languages['bg_BG']['NAME']    = 'Bulgarian';
+$languages['bg_BG']['ALTNAME'] = 'Български';
+$languages['bg_BG']['CHARSET'] = 'windows-1251';
+$languages['bg']['ALIAS'] = 'bg_BG';
+
+$languages['ca_ES']['NAME']    = 'Catalan';
+$languages['ca_ES']['CHARSET'] = 'iso-8859-1';
+$languages['ca']['ALIAS'] = 'ca_ES';
+
+$languages['cs_CZ']['NAME']    = 'Czech';
+$languages['cs_CZ']['ALTNAME'] = 'Čeština';
+$languages['cs_CZ']['CHARSET'] = 'iso-8859-2';
+$languages['cs']['ALIAS']      = 'cs_CZ';
+
+$languages['cy_GB']['NAME']    = 'Welsh';
+$languages['cy_GB']['ALTNAME'] = 'Cymraeg';
+$languages['cy_GB']['CHARSET'] = 'iso-8859-1';
+$languages['cy']['ALIAS'] = 'cy_GB';
+
+// Danish locale is da_DK.
+$languages['da_DK']['NAME']    = 'Danish';
+$languages['da_DK']['ALTNAME'] = 'Dansk';
+$languages['da_DK']['CHARSET'] = 'iso-8859-1';
+$languages['da']['ALIAS'] = 'da_DK';
+
+$languages['de_DE']['NAME']    = 'German';
+$languages['de_DE']['ALTNAME']    = 'Deutsch';
+$languages['de_DE']['CHARSET'] = 'iso-8859-1';
+$languages['de']['ALIAS'] = 'de_DE';
+
+$languages['el_GR']['NAME']    = 'Greek';
+$languages['el_GR']['ALTNAME'] = 'Ελληνικά';
+$languages['el_GR']['CHARSET'] = 'iso-8859-7';
+$languages['el']['ALIAS'] = 'el_GR';
+
+$languages['en_GB']['NAME']    = 'British';
+$languages['en_GB']['CHARSET'] = 'iso-8859-15';
+$languages['en_GB']['LOCALE']  = 'en_GB.ISO-8859-15';
 
 $languages['en_US']['NAME']    = 'English';
 $languages['en_US']['CHARSET'] = 'iso-8859-1';
 $languages['en']['ALIAS'] = 'en_US';
 
-if ( file_exists( SM_PATH . 'locale/es_ES') ) {
-    $languages['es_ES']['NAME']    = 'Spanish';
-    $languages['es_ES']['CHARSET'] = 'iso-8859-1';
-    $languages['es']['ALIAS'] = 'es_ES';
-}
-if ( file_exists( SM_PATH . 'locale/et_EE') ) {
-    $languages['et_EE']['NAME']    = 'Estonian';
-    $languages['et_EE']['CHARSET'] = 'iso-8859-15';
-    $languages['et']['ALIAS'] = 'et_EE';
-}
-if ( file_exists( SM_PATH . 'locale/fo_FO') ) {
-    $languages['fo_FO']['NAME']    = 'Faroese';
-    $languages['fo_FO']['CHARSET'] = 'iso-8859-1';
-    $languages['fo']['ALIAS'] = 'fo_FO';
-}
-if ( file_exists( SM_PATH . 'locale/fi_FI') ) {
-    $languages['fi_FI']['NAME']    = 'Finnish';
-    $languages['fi_FI']['CHARSET'] = 'iso-8859-1';
-    $languages['fi']['ALIAS'] = 'fi_FI';
-}
-if ( file_exists( SM_PATH . 'locale/fr_FR') ) {
-    $languages['fr_FR']['NAME']    = 'French';
-    $languages['fr_FR']['CHARSET'] = 'iso-8859-1';
-    $languages['fr']['ALIAS'] = 'fr_FR';
-}
-if ( file_exists( SM_PATH . 'locale/hr_HR') ) {
-    $languages['hr_HR']['NAME']    = 'Croatian';
-    $languages['hr_HR']['CHARSET'] = 'iso-8859-2';
-    $languages['hr']['ALIAS'] = 'hr_HR';
-}
-if ( file_exists( SM_PATH . 'locale/hu_HU') ) {
-    $languages['hu_HU']['NAME']    = 'Hungarian';
-    $languages['hu_HU']['CHARSET'] = 'iso-8859-2';
-    $languages['hu']['ALIAS'] = 'hu_HU';
-}
-if ( file_exists( SM_PATH . 'locale/id_ID') ) {
-    $languages['id_ID']['NAME']    = 'Bahasa Indonesia';
-    $languages['id_ID']['CHARSET'] = 'iso-8859-1';
-    $languages['id']['ALIAS'] = 'id_ID';
-}
-if ( file_exists( SM_PATH . 'locale/is_IS') ) {
-    $languages['is_IS']['NAME']    = 'Icelandic';
-    $languages['is_IS']['CHARSET'] = 'iso-8859-1';
-    $languages['is']['ALIAS'] = 'is_IS';
-}
-if ( file_exists( SM_PATH . 'locale/it_IT') ) {
-    $languages['it_IT']['NAME']    = 'Italian';
-    $languages['it_IT']['CHARSET'] = 'iso-8859-1';
-    $languages['it']['ALIAS'] = 'it_IT';
-}
-if ( file_exists( SM_PATH . 'locale/ja_JP') ) {
-    $languages['ja_JP']['NAME']    = 'Japanese';
-    $languages['ja_JP']['CHARSET'] = 'iso-2022-jp';
-    $languages['ja_JP']['XTRA_CODE'] = 'japanese_charset_xtra';
-    $languages['ja']['ALIAS'] = 'ja_JP';
-}
-if ( file_exists( SM_PATH . 'locale/ko_KR') ) {
-    $languages['ko_KR']['NAME']    = 'Korean';
-    $languages['ko_KR']['CHARSET'] = 'euc-KR';
-    $languages['ko_KR']['XTRA_CODE'] = 'korean_charset_xtra';
-    $languages['ko']['ALIAS'] = 'ko_KR';
-}
-if ( file_exists( SM_PATH . 'locale/nl_NL') ) {
-    $languages['nl_NL']['NAME']    = 'Dutch';
-    $languages['nl_NL']['CHARSET'] = 'iso-8859-1';
-    $languages['nl']['ALIAS'] = 'nl_NL';
-}
-if ( file_exists( SM_PATH . 'locale/no_NO') ) {
-    $languages['no_NO']['NAME']    = 'Norwegian (Bokmål)';
-    $languages['no_NO']['CHARSET'] = 'iso-8859-1';
-    $languages['no']['ALIAS'] = 'no_NO';
-}
-if ( file_exists( SM_PATH . 'locale/nn_NO') ) {
-    $languages['nn_NO']['NAME']    = 'Norwegian (Nynorsk)';
-    $languages['nn_NO']['CHARSET'] = 'iso-8859-1';
-}
-if ( file_exists( SM_PATH . 'locale/pl_PL') ) {
-    $languages['pl_PL']['NAME']    = 'Polish';
-    $languages['pl_PL']['CHARSET'] = 'iso-8859-2';
-    $languages['pl']['ALIAS'] = 'pl_PL';
-}
-if ( file_exists( SM_PATH . 'locale/pt_PT') ) {
-    $languages['pt_PT']['NAME'] = 'Portuguese (Portugal)';
-    $languages['pt_PT']['CHARSET'] = 'iso-8859-1';
-    $languages['pt']['ALIAS'] = 'pt_PT';
-}
-if ( file_exists( SM_PATH . 'locale/pt_BR') ) {
-    $languages['pt_BR']['NAME']    = 'Portuguese (Brazil)';
-    $languages['pt_BR']['CHARSET'] = 'iso-8859-1';
-}
-if ( file_exists( SM_PATH . 'locale/ru_RU') ) {
-    $languages['ru_RU']['NAME']    = 'Russian';
-    $languages['ru_RU']['CHARSET'] = 'koi8-r';
-    $languages['ru_RU']['LOCALE'] = 'ru_RU.KOI8-R';
-    $languages['ru']['ALIAS'] = 'ru_RU';
-}
-if ( file_exists( SM_PATH . 'locale/sr_YU') ) {
-    $languages['sr_YU']['NAME']    = 'Serbian';
-    $languages['sr_YU']['CHARSET'] = 'iso-8859-2';
-    $languages['sr']['ALIAS'] = 'sr_YU';
-}
-if ( file_exists( SM_PATH . 'locale/sv_SE') ) {
-    $languages['sv_SE']['NAME']    = 'Swedish';
-    $languages['sv_SE']['CHARSET'] = 'iso-8859-1';
-    $languages['sv']['ALIAS'] = 'sv_SE';
-}
-if ( file_exists( SM_PATH . 'locale/tr_TR') ) {
-    $languages['tr_TR']['NAME']    = 'Turkish';
-    $languages['tr_TR']['CHARSET'] = 'iso-8859-9';
-    $languages['tr']['ALIAS'] = 'tr_TR';
-}
-if ( file_exists( SM_PATH . 'locale/zh_TW') ) {
-    $languages['zh_TW']['NAME']    = 'Chinese Trad';
-    $languages['zh_TW']['CHARSET'] = 'big5';
-    $languages['tw']['ALIAS'] = 'zh_TW';
-}
-if ( file_exists( SM_PATH . 'locale/zh_CN') ) {
-    $languages['zh_CN']['NAME']    = 'Chinese Simp';
-    $languages['zh_CN']['CHARSET'] = 'gb2312';
-    $languages['cn']['ALIAS'] = 'zh_CN';
-}
-if ( file_exists( SM_PATH . 'locale/sk_SK') ) {
-    $languages['sk_SK']['NAME']     = 'Slovak';
-    $languages['sk_SK']['CHARSET']  = 'iso-8859-2';
-    $languages['sk']['ALIAS']       = 'sk_SK';
-}
-if ( file_exists( SM_PATH . 'locale/ro_RO') ) {
-    $languages['ro_RO']['NAME']    = 'Romanian';
-    $languages['ro_RO']['CHARSET'] = 'iso-8859-2';
-    $languages['ro']['ALIAS'] = 'ro_RO';
-}
-if ( file_exists( SM_PATH . 'locale/th_TH') ) {
-    $languages['th_TH']['NAME']    = 'Thai';
-    $languages['th_TH']['CHARSET'] = 'tis-620';
-    $languages['th']['ALIAS'] = 'th_TH';
-}
-if ( file_exists( SM_PATH . 'locale/lt_LT') ) {
-    $languages['lt_LT']['NAME']    = 'Lithuanian';
-    $languages['lt_LT']['CHARSET'] = 'iso-8859-4';
-    $languages['lt_LT']['LOCALE'] = 'lt_LT.ISO-8859-4';
-    $languages['lt']['ALIAS'] = 'lt_LT';
-}
-if ( file_exists( SM_PATH . 'locale/sl_SI') ) {
-    $languages['sl_SI']['NAME']    = 'Slovenian';
-    $languages['sl_SI']['CHARSET'] = 'iso-8859-2';
-    $languages['sl']['ALIAS'] = 'sl_SI';
-}
-if ( file_exists( SM_PATH . 'locale/bg_BG') ) {
-    $languages['bg_BG']['NAME']    = 'Bulgarian';
-    $languages['bg_BG']['CHARSET'] = 'windows-1251';
-    $languages['bg']['ALIAS'] = 'bg_BG';
-}
-if ( file_exists( SM_PATH . 'locale/uk_UA') ) {
-    $languages['uk_UA']['NAME']    = 'Ukrainian';
-    $languages['uk_UA']['CHARSET'] = 'koi8-u';
-    $languages['uk']['ALIAS'] = 'uk_UA';
-}
-if ( file_exists( SM_PATH . 'locale/cy_GB') ) {
-    $languages['cy_GB']['NAME']    = 'Welsh';
-    $languages['cy_GB']['CHARSET'] = 'iso-8859-1';
-    $languages['cy']['ALIAS'] = 'cy_GB';
-}
+$languages['es_ES']['NAME']    = 'Spanish';
+$languages['es_ES']['ALTNAME'] = 'Español';
+$languages['es_ES']['CHARSET'] = 'iso-8859-1';
+$languages['es']['ALIAS'] = 'es_ES';
+
+$languages['et_EE']['NAME']    = 'Estonian';
+$languages['et_EE']['CHARSET'] = 'iso-8859-15';
+$languages['et']['ALIAS'] = 'et_EE';
+
+$languages['fo_FO']['NAME']    = 'Faroese';
+$languages['fo_FO']['CHARSET'] = 'iso-8859-1';
+$languages['fo']['ALIAS'] = 'fo_FO';
+
+$languages['fi_FI']['NAME']    = 'Finnish';
+$languages['fi_FI']['ALTNAME'] = 'Suomi';
+$languages['fi_FI']['CHARSET'] = 'iso-8859-1';
+$languages['fi']['ALIAS'] = 'fi_FI';
+
+$languages['fr_FR']['NAME']    = 'French';
+$languages['fr_FR']['ALTNAME'] = 'Français';
+$languages['fr_FR']['CHARSET'] = 'iso-8859-1';
+$languages['fr']['ALIAS'] = 'fr_FR';
+
+$languages['hr_HR']['NAME']    = 'Croatian';
+$languages['hr_HR']['CHARSET'] = 'iso-8859-2';
+$languages['hr']['ALIAS'] = 'hr_HR';
+
+$languages['hu_HU']['NAME']    = 'Hungarian';
+$languages['hu_HU']['ALTNAME'] = 'Magyar';
+$languages['hu_HU']['CHARSET'] = 'iso-8859-2';
+$languages['hu']['ALIAS'] = 'hu_HU';
+
+$languages['id_ID']['NAME']    = 'Indonesian';
+$languages['id_ID']['ALTNAME'] = 'Bahasa Indonesia';
+$languages['id_ID']['CHARSET'] = 'iso-8859-1';
+$languages['id']['ALIAS'] = 'id_ID';
+
+$languages['is_IS']['NAME']    = 'Icelandic';
+$languages['is_IS']['ALTNAME'] = 'Íslenska';
+$languages['is_IS']['CHARSET'] = 'iso-8859-1';
+$languages['is']['ALIAS'] = 'is_IS';
+
+$languages['it_IT']['NAME']    = 'Italian';
+$languages['it_IT']['CHARSET'] = 'iso-8859-1';
+$languages['it']['ALIAS'] = 'it_IT';
+
+$languages['ja_JP']['NAME']    = 'Japanese';
+$languages['ja_JP']['ALTNAME'] = '日本語';
+$languages['ja_JP']['CHARSET'] = 'iso-2022-jp';
+$languages['ja_JP']['LOCALE'] = 'ja_JP.EUC-JP';
+$languages['ja_JP']['XTRA_CODE'] = 'japanese_charset_xtra';
+$languages['ja']['ALIAS'] = 'ja_JP';
+
+$languages['ko_KR']['NAME']    = 'Korean';
+$languages['ko_KR']['CHARSET'] = 'euc-KR';
+$languages['ko_KR']['XTRA_CODE'] = 'korean_charset_xtra';
+$languages['ko']['ALIAS'] = 'ko_KR';
+
+$languages['lt_LT']['NAME']    = 'Lithuanian';
+$languages['lt_LT']['ALTNAME'] = 'Lietuvių';
+$languages['lt_LT']['CHARSET'] = 'utf-8';
+$languages['lt_LT']['LOCALE'] = 'lt_LT.UTF-8';
+$languages['lt']['ALIAS'] = 'lt_LT';
+
+$languages['nl_NL']['NAME']    = 'Dutch';
+$languages['nl_NL']['ALTNAME'] = 'Nederlands';
+$languages['nl_NL']['CHARSET'] = 'iso-8859-1';
+$languages['nl']['ALIAS'] = 'nl_NL';
+
+$languages['ms_MY']['NAME']    = 'Malay';
+$languages['ms_MY']['ALTNAME'] = 'Bahasa Melayu';
+$languages['ms_MY']['CHARSET'] = 'iso-8859-1';
+$languages['my']['ALIAS'] = 'ms_MY';
+
+$languages['no_NO']['NAME']    = 'Norwegian (Bokmål)';
+$languages['no_NO']['ALTNAME'] = 'Norsk (Bokmål)';
+$languages['no_NO']['CHARSET'] = 'iso-8859-1';
+$languages['no']['ALIAS'] = 'no_NO';
+
+$languages['nn_NO']['NAME']    = 'Norwegian (Nynorsk)';
+$languages['nn_NO']['ALTNAME'] = 'Norsk (Nynorsk)';
+$languages['nn_NO']['CHARSET'] = 'iso-8859-1';
+
+$languages['pl_PL']['NAME']    = 'Polish';
+$languages['pl_PL']['ALTNAME'] = 'Polski';
+$languages['pl_PL']['CHARSET'] = 'iso-8859-2';
+$languages['pl']['ALIAS'] = 'pl_PL';
+
+$languages['pt_PT']['NAME'] = 'Portuguese (Portugal)';
+$languages['pt_PT']['CHARSET'] = 'iso-8859-1';
+$languages['pt']['ALIAS'] = 'pt_PT';
+
+$languages['pt_BR']['NAME']    = 'Portuguese (Brazil)';
+$languages['pt_BR']['ALTNAME'] = 'Português do Brasil';
+$languages['pt_BR']['CHARSET'] = 'iso-8859-1';
+
+$languages['ro_RO']['NAME']    = 'Romanian';
+$languages['ro_RO']['ALTNAME'] = 'Română';
+$languages['ro_RO']['CHARSET'] = 'iso-8859-2';
+$languages['ro']['ALIAS'] = 'ro_RO';
+
+$languages['ru_RU']['NAME']    = 'Russian';
+$languages['ru_RU']['ALTNAME'] = 'Русский';
+$languages['ru_RU']['CHARSET'] = 'utf-8';
+$languages['ru_RU']['LOCALE'] = 'ru_RU.UTF-8';
+$languages['ru']['ALIAS'] = 'ru_RU';
+
+$languages['sk_SK']['NAME']     = 'Slovak';
+$languages['sk_SK']['CHARSET']  = 'iso-8859-2';
+$languages['sk']['ALIAS']       = 'sk_SK';
+
+$languages['sl_SI']['NAME']    = 'Slovenian';
+$languages['sl_SI']['ALTNAME'] = 'Slovenščina';
+$languages['sl_SI']['CHARSET'] = 'iso-8859-2';
+$languages['sl']['ALIAS'] = 'sl_SI';
+
+$languages['sr_YU']['NAME']    = 'Serbian';
+$languages['sr_YU']['ALTNAME'] = 'Srpski';
+$languages['sr_YU']['CHARSET'] = 'iso-8859-2';
+$languages['sr']['ALIAS'] = 'sr_YU';
+
+$languages['sv_SE']['NAME']    = 'Swedish';
+$languages['sv_SE']['ALTNAME'] = 'Svenska';
+$languages['sv_SE']['CHARSET'] = 'iso-8859-1';
+$languages['sv']['ALIAS'] = 'sv_SE';
+
+$languages['th_TH']['NAME']    = 'Thai';
+$languages['th_TH']['CHARSET'] = 'tis-620';
+$languages['th']['ALIAS'] = 'th_TH';
+
+$languages['tr_TR']['NAME']    = 'Turkish';
+$languages['tr_TR']['CHARSET'] = 'iso-8859-9';
+$languages['tr']['ALIAS'] = 'tr_TR';
+
+$languages['zh_TW']['NAME']    = 'Chinese Trad';
+$languages['zh_TW']['CHARSET'] = 'big5';
+$languages['tw']['ALIAS'] = 'zh_TW';
+
+$languages['zh_CN']['NAME']    = 'Chinese Simp';
+$languages['zh_CN']['CHARSET'] = 'gb2312';
+$languages['cn']['ALIAS'] = 'zh_CN';
+
+/*
+$languages['uk_UA']['NAME']    = 'Ukrainian';
+$languages['uk_UA']['CHARSET'] = 'koi8-u';
+$languages['uk']['ALIAS'] = 'uk_UA';
+*/
+/*
 if ( file_exists( SM_PATH . 'locale/vi_VN') ) {
     $languages['vi_VN']['NAME']    = 'Vietnamese';
     $languages['vi_VN']['CHARSET'] = 'utf-8';
     $languages['vi']['ALIAS'] = 'vi_VN';
 }
+*/
+
 // Right to left languages
-if ( file_exists( SM_PATH . 'locale/ar') ) {
-    $languages['ar']['NAME']    = 'Arabic';
-    $languages['ar']['CHARSET'] = 'windows-1256';
-    $languages['ar']['DIR']     = 'rtl';
-}
-if ( file_exists( SM_PATH . 'locale/he_IL') ) {
-    $languages['he_IL']['NAME']    = 'Hebrew';
-    $languages['he_IL']['CHARSET'] = 'windows-1255';
-    $languages['he_IL']['DIR']     = 'rtl';
-    $languages['he']['ALIAS']      = 'he_IL';
-}
+$languages['ar']['NAME']    = 'Arabic';
+$languages['ar']['CHARSET'] = 'windows-1256';
+$languages['ar']['DIR']     = 'rtl';
+
+$languages['he_IL']['NAME']    = 'Hebrew';
+$languages['he_IL']['CHARSET'] = 'windows-1255';
+$languages['he_IL']['DIR']     = 'rtl';
+$languages['he']['ALIAS']      = 'he_IL';
 
 /* Detect whether gettext is installed. */
 $gettext_flags = 0;
@@ -594,9 +608,25 @@ elseif ($gettext_flags == 0) {
 }
 
 
-/*
+/**
  * Japanese charset extra function
  *
+ * Action performed by function is defined by first argument.
+ * Default return value is defined by second argument.
+ * Use of third argument depends on action.
+ *
+ * @param string action performed by this function. 
+ *    possible values:
+ *     decode - convert returned string to euc-jp. third argument unused
+ *     encode - convert returned string to jis. third argument unused
+ *     strimwidth - third argument=$width. trims string to $width symbols.
+ *     encodeheader - create base64 encoded header in iso-2022-jp. third argument unused
+ *     decodeheader - return human readable string from mime header. string is returned in euc-jp. third argument unused
+ *     downloadfilename - third argument $useragent. Arguments provide browser info. Returns shift-jis or euc-jp encoded file name
+ *     wordwrap - third argument=$wrap. wraps text at $wrap symbols
+ *     utf7-imap_encode - returns string converted from euc-jp to utf7-imap. third argument unused
+ *     utf7-imap_decode - returns string converted from utf7-imap to euc-jp. third argument unused
+ * @param string default return value
  */
 function japanese_charset_xtra() {
     $ret = func_get_arg(1);  /* default return value */
@@ -725,9 +755,16 @@ function japanese_charset_xtra() {
 }
 
 
-/*
- * Korean charset extra function
- * Hangul(Korean Character) Attached File Name Fix.
+/**
+ * Korean charset extra functions
+ *
+ * Action performed by function is defined by first argument.
+ * Default return value is defined by second argument.
+ *
+ * @param string action performed by this function. 
+ *    possible values:
+ *     downloadfilename - Hangul(Korean Character) Attached File Name Fix.
+ * @param string default return value
  */
 function korean_charset_xtra() {
     
@@ -748,14 +785,19 @@ function korean_charset_xtra() {
         }
 
     }
-
     return $ret;
 }
 
-/* 
+/**
+ * Replaces non-braking spaces inserted by some browsers with regular space
+ * 
  * This function can be used to replace non-braking space symbols 
  * that are inserted in forms by some browsers instead of normal 
  * space symbol.
+ *
+ * @param string $string Text that needs to be cleaned
+ * @param string $charset Charset used in text
+ * @return string Cleaned text
  */
 function cleanup_nbsp($string,$charset) {
 
@@ -794,4 +836,84 @@ endswitch;
 // return space instead of non-braking space. 
  return str_replace($nbsp,' ',$string);
 }
+
+/**
+ * Function informs if it is safe to convert given charset to the one that is used by user.
+ *
+ * It is safe to use conversion only if user uses utf-8 encoding and when 
+ * converted charset is similar to the one that is used by user.
+ *
+ * @param string $input_charset Charset of text that needs to be converted
+ * @return bool is it possible to convert to user's charset
+ */
+function is_conversion_safe($input_charset) {
+  global $languages, $sm_notAlias, $default_charset;
+
+ // convert to lower case
+ $input_charset = strtolower($input_charset);
+
+ // Is user's locale Unicode based ?
+ if ( $default_charset == "utf-8" ) {
+   return true;
+ }
+
+ // Charsets that are similar
+switch ($default_charset):
+case "windows-1251":
+      if ( $input_charset == "iso-8859-5" || 
+          $input_charset == "koi8-r" ||
+          $input_charset == "koi8-u" ) {
+        return true;
+     } else {
+        return false;
+     }
+case "windows-1257":
+  if ( $input_charset == "iso-8859-13" || 
+        $input_charset == "iso-8859-4" ) {
+    return true;
+  } else {
+    return false;
+  }
+case "iso-8859-4":
+  if ( $input_charset == "iso-8859-13" || 
+        $input_charset == "windows-1257" ) {
+     return true;
+  } else {
+     return false;
+  }
+case "iso-8859-5":
+  if ( $input_charset == "windows-1251" || 
+        $input_charset == "koi8-r" || 
+        $input_charset == "koi8-u" ) {
+     return true;
+  } else {
+     return false;
+  }
+case "iso-8859-13":
+  if ( $input_charset == "iso-8859-4" ||
+       $input_charset == "windows-1257" ) {
+     return true;
+  } else {
+     return false;
+  }
+case "koi8-r":
+  if ( $input_charset == "windows-1251" ||
+        $input_charset == "iso-8859-5" || 
+        $input_charset == "koi8-u" ) {
+     return true;
+  } else {
+     return false;
+  }
+case "koi8-u":
+  if ( $input_charset == "windows-1251" ||
+       $input_charset == "iso-8859-5" ||
+       $input_charset == "koi8-r" ) {
+     return true;
+  } else {
+     return false;
+  }
+default:
+   return false;
+endswitch;
+}
 ?>
\ No newline at end of file