一. GBK,BIG5等字符集編碼范圍的具體說明(http://www.cnblogs.com/zhenjing/archive/2011/08/07/chinese_string.html)
摘自: http://blog.minidx.com/2008/12/06/1689.html
1. 常用概念
字符集:字符集是字符的集合。例如,漢字字符是中國人最先發明的字符,在中文、日文、韓文和越南文的書寫中使用。這也說明了字符和字符集之間的關系,字符組成字符集(iso8859-1,GB2312/GBK,unicode)。
代碼點:字符集中的每個字符都被分配到一個“代碼點”。每個代碼點都有一個特定的唯一數值,稱為標值。該標量值通常用十六進制表示。
代碼單元: 在每種編碼形式中,代碼點被映射到一個或多個代碼單元。“代碼單元”是各個編碼方式中的單個單元。代碼單元的大小等效於特定編碼方式的位數:
UTF-8 :UTF-8 中的代碼單元由 8 位組成;在 UTF-8 中,因為代碼單元較小的緣故,每個代碼點常常被映射到多個代碼單元。代碼點將被映射到一個、兩個、三個或四個代碼單元;
UTF-16 :UTF-16 中的代碼單元由 16 位組成;UTF-16 的代碼單元大小是 8 位代碼單元的兩倍。所以,標量值小於 U+10000 的代碼點被編碼到單個代碼單元中;
UTF-32:UTF-32 中的代碼單元由 32 位組成; UTF-32 中使用的 32 位代碼單元足夠大,每個代碼點都可編碼為單個代碼單元;
GB18030:GB18030 中的代碼單元由 8 位組成;在 GB18030 中,因為代碼單元較小的緣故,每個代碼點常常被映射到多個代碼單元。代碼點將被映射到一個、兩個或四個代碼單元。
總結:
代碼點是指一個數值,表示字符集中的某一個字符。
代碼單元是在對代碼點進行編碼時,所使用的最小編碼單位,UTF-8和GB18030編碼方式最小編碼單位是8位,UTF-16編碼方式最小編碼單位是16位,UTF-32編碼方式最小編碼單位是32位.
2. 字符集
(1)常用字符集分類
ASCII及其擴展字符集
作用:表語英語及西歐語言。
位數:ASCII是用7位表示的,能表示128個字符;其擴展使用8位表示,表示256個字符。
范圍:ASCII從00到7F,擴展從00到FF。
ISO-8859-1字符集
作用:擴展ASCII,表示西歐、希臘語等。
位數:8位,
范圍:從00到FF,兼容ASCII字符集。
GB2312字符集
作用:國家簡體中文字符集,兼容ASCII。
位數:使用2個字節表示,能表示7445個符號,包括6763個漢字,幾乎覆蓋所有高頻率漢字。
范圍:高字節從A1到F7, 低字節從A1到FE。將高字節和低字節分別加上0XA0即可得到編碼。
BIG5字符集
作用:統一繁體字編碼。
位數:使用2個字節表示,表示13053個漢字。
范圍:高字節從A1到F9,低字節從40到7E,A1到FE。
GBK字符集
作用:它是GB2312的擴展,加入對繁體字的支持,兼容GB2312。
位數:使用2個字節表示,可表示21886個字符。
范圍:高字節從81到FE,低字節從40到FE。
GB18030字符集
作用:它解決了中文、日文、朝鮮語等的編碼,兼容GBK。
位數:它采用變字節表示(1 ASCII,2,4字節)。可表示27484個文字。
范圍:1字節從00到7F; 2字節高字節從81到FE,低字節從40到7E和80到FE;4字節第一三字節從81到FE,第二四字節從30到39。
UCS字符集
作用:國際標准 ISO 10646 定義了通用字符集 (Universal Character Set)。它是與UNICODE同類的組織,UCS-2和UNICODE兼容。
位數:它有UCS-2和UCS-4兩種格式,分別是2字節和4字節。
范圍:目前,UCS-4只是在UCS-2前面加了0×0000。
UNICODE字符集
作用:為世界650種語言進行統一編碼,兼容ISO-8859-1。
位數:UNICODE字符集有多個編碼方式,分別是UTF-8,UTF-16和UTF-32。
(2)按所表示的文字分類
語言 字符集 正式名稱
英語、西歐語 ASCII,ISO-8859-1 MBCS 多字節
簡體中文 GB2312 MBCS 多字節
繁體中文 BIG5 MBCS 多字節
簡繁中文 GBK MBCS 多字節
中文、日文及朝鮮語 GB18030 MBCS 多字節
各國語言 UNICODE,UCS DBCS 寬字節
3. 編碼
UTF-8:采用變長字節 (1 ASCII, 2 希臘字母, 3 漢字, 4 平面符號) 表示,網絡傳輸, 即使錯了一個字節,不影響其他字節,而雙字節只要一個錯了,其他也錯了,具體如下:
如果只有一個字節則其最高二進制位為0;如果是多字節,其第一個字節從最高位開始,連續的二進制位值為1的個數決定了其編碼的字節數,其余各字節均以10開頭。UTF-8最多可用到6個字節。
UTF-16:采用2字節,Unicode中不同部分的字符都同樣基於現有的標准。這是為了便於轉換。從 0×0000到0×007F是ASCII字符,從0×0080到0×00FF是ISO-8859-1對ASCII的擴展。希臘字母表使用從0×0370到 0×03FF 的代碼,斯拉夫語使用從0×0400到0×04FF的代碼,美國使用從0×0530到0×058F的代碼,希伯來語使用從0×0590到0×05FF的代 碼。中國、日本和韓國的象形文字(總稱為CJK)占用了從0×3000到0×9FFF的代碼;由於0×00在c語言及操作系統文件名等中有特殊意義,故很 多情況下需要UTF-8編碼保存文本,去掉這個0×00。舉例如下:
UTF-16: 0×0080 = 0000 0000 1000 0000
UTF-8: 0xC280 = 1100 0010 1000 0000
UTF-32:采用4字節。
優缺點
UTF-8、UTF-16和UTF-32都可以表示有效編碼空間 (U+000000-U+10FFFF) 內的所有Unicode字符。
使用UTF-8編碼時ASCII字符只占1個字節,存儲效率比較高,適用於拉丁字符較多的場合以節省空間。
對於大多數非拉丁字符(如中文和日文)來說,UTF-16所需存儲空間最小,每個字符只占2個字節。
采用UTF-16和UTF-32會有Big Endian和Little Endian之分,而UTF-8則沒有字節順序問題,所以UTF-8適合傳輸和通信。
UTF-32采用4字節編碼,一方面處理速度比較快,但另一方面也浪費了大量空間,影響傳輸速度,因而很少使用。
4. 編碼如何判斷字符集編碼
UNICODE,根據前幾個字節可以判斷UNICODE字符集的各種編碼,叫做Byte Order Mask方法BOM:
UTF-8: EFBBBF (符合UTF-8格式,請看上面。但沒有含義在UCS即UNICODE中)
UTF-16 Big Endian:FEFF (沒有含義在UCS-2中)
UTF-16 Little Endian:FFFE (沒有含義在UCS-2中)
UTF-32 Big Endian:0000FEFF (沒有含義在UCS-4中)
UTF-32 Little Endian:FFFE0000 (沒有含義在UCS-4中)
GB2312:高字節和低字節的第1位都是1。
BIG5,GBK&GB18030:高字節的第1位為1。操作系統有默認的編碼,常為GBK,可以下載別的並升級。通過判斷高字節的第1位從而知道是ASCII或者漢字編碼。
二. unicode與iso 10646(UCS)的區別(http://blog.csdn.net/joneykk/article/details/5739468)
該文又轉自:http://www.zeali.net/entry/86
什么是 Unicode?
歷史上, 有兩個獨立的, 創立單一字符集的嘗試. 一個是國際標准化組織(ISO) 的 ISO 10646 項目, 另一個是由(一開始大多是美國的)多語言軟件制造商組成的協會組織的 Unicode 項目 . 幸運的是, 1991年前后, 兩個項目的參與者都認識到, 世界不需要兩個不同的單一字符集. 它們合並雙方的工作成果, 並為創立一個單一編碼表而協同工作. 兩個項目仍都存在並獨立地公布各自的標准, 但 Unicode 協會和 ISO/IEC JTC1/SC2 都同意保持 Unicode 和 ISO 10646 標准的碼表兼容, 並緊密地共同調整任何未來的擴展.
Unicode vs ISO 10646
Unicode 協會公布的 Unicode 標准 嚴密地包含了 ISO 10646-1 實現級別3的基本多語言面. 在兩個標准里所有的字符都在相同的位置並且有相同的名字 .
Unicode 標准額外 定義了許多與字符有關的語義符號學, 一般而言是對於實現高質量的印刷出版系統的更好的參考. Unicode 詳細說明了繪制某些語言(比如阿拉伯語)表達形式的算法, 處理雙向文字(比如拉丁與希伯來文混合文字)的算法和 排序與字符串比較 所需的算法, 以及其他許多東西.
另一方面, ISO 10646 標准, 就象廣為人知的 ISO 8859 標准一樣, 只不過是一個簡單的字符集表 . 它指定了一些與標准有關的術語, 定義了一些編碼的別名, 並包括了規范說明, 指定了怎樣使用 UCS 連接其他 ISO 標准的實現, 比如 ISO 6429 和 ISO 2022. 還有一些與 ISO 緊密相關的, 比如 ISO 14651 是關於 UCS 字符串排序的.
考慮到 Unicode 標准有一個易記的名字, 且在任何好的書店里的 Addison-Wesley 里有, 只花費 ISO 版本的一小部分, 且包括更多的輔助信息, 因而它成為使用廣泛得多的參考也就不足為奇了. 然而, 一般認為, 用於打印 ISO 10646-1 標准的字體在某些方面的質量要高於用於打印 Unicode 2.0的. 專業字體設計者總是被建議說要兩個標准都實現, 但一些提供的樣例字形有顯著的區別. ISO 10646-1 標准同樣使用四種不同的風格變體來顯示表意文字如中文, 日文和韓文 (CJK), 而 Unicode 2.0 的表里只有中文的變體. 這導致了普遍的認為 Unicode 對日本用戶來說是不可接收的傳說, 盡管是錯誤的.
總結:
UCS字符集,其所對應的編碼方式為UCS-2,UCS-4.
UNICODE字符集,其所對應的編碼方式為 UTF-8,UTF-16,UTF-32. 其中,UCS-2和UTF-16對應0xFFFF之內的字符集,其編碼方式是一一對應的,對0x10000之外的字符,UCS-2沒有與之對應的編碼,UTF-16實現了編碼。
