[Charset]UTF-8, UTF-16, UTF-16LE, UTF-16BE的區別
最近遇到的麻煩事
charset里的問題, 一般我們都用unicode來作為統一編碼, 但unicode也有多種表現形式
首先, 我們說的unicode, 其實就是utf-16, 但最通用的卻是utf-8,
原因: 我猜大概是英文占的比例比較大, 這樣utf-8的存儲優勢比較明顯, 因為utf-16是固定16位的(雙字節), 而utf-8則是看情況而定, 即可變長度, 常規的128個ASCII只需要8位(單字節), 而漢字需要24位
UTF-16, UTF-16LE, UTF-16BE, 及其區別BOM
同樣都是unicode, 為什么要搞3種這么麻煩?
先說UTF-16BE (big endian), 比較好理解的, 俗稱大頭
比如說char 'a', ascii為
0x61, 那么它的utf-8, 則為 [0x61], 但utf-16是16位的, 所以為[0x00, 0x61]
再說UTF-16LE(little endian), 俗稱小頭, 這個是比較常用的
還是char 'a', 它的代碼卻反過來: [0x61, 0x00], 據說是為了提高速度而迎合CPU的胃口, CPU就是這到倒着吃數據的, 這里面有匯編的知識, 不多說
然后說UTF-16, 要從代碼里自動判斷一個文件到底是UTF-16LE還是BE, 對於單純的英文字符來說還比較好辦, 但要有特殊字符, 圖形符號, 漢字, 法文, 俄語, 火星語之類的話, 相信各位都很頭痛吧, 所以, unicode組織引入了BOM的概念, 即byte order mark, 顧名思義, 就是表名這個文件到底是LE還是BE的,
其方法就是, 在UTF-16文件的頭2個字節里做個標記: LE [0xFF, 0xFE], BE [0xFE, 0xFF]
理解了這個后, 在java里遇到utf-16還是會遇到麻煩, 因為要在文件里面單獨判斷頭2個再字節是很不流暢的
小結:
- InputStreamReader reader=new InputStreamReader(fin, charset)
1. 如果這個UTF-16文件里帶有BOM的話, charset就用"UTF-16", java會自動根據BOM判斷LE還是BE, 如果你在這里指定了"UTF-16LE"或"UTF-16BE"的話, 猜錯了會生成亂七八糟的文件, 哪怕猜對了, java也會把頭2個字節當成文本輸出給你而不會略過去, 因為[FF FE]或[FE FF]這2個代碼沒有內容, 所以, windows會用"?"代替給你
2. 如果這個UTF-16文件里不帶BOM的話, 則charset就要用"UTF-16LE"或"UTF-16BE"來指定LE還是BE的編碼方式
另外, UTF-8也有BOM的, [0xEF, 0xBB, 0xBF], 但可有可無, 但用windows的notepad另存為時會自動幫你加上這個, 而很多非windows平台的UTF8文件又沒有這個BOM, 真是難為我們這些程序員啊
錯誤的例子
1. 文件A, UTF16格式, 帶BOM LE,
InputStreamReader reader=new InputStreamReader(fin, "utf-16le")
會多輸出一個"?"在第一個字節, 原因: java沒有把頭2位當成BOM
2. 文件A, UTF16格式, 帶BOM LE,
InputStreamReader reader=new InputStreamReader(fin, "utf-16be")
會出亂碼, 原因: 字節的高低位弄反了, 'a' 在文件里 [0x61, 0x00], 但java以為'a'應該是[0x00 0x61]
3. 文件A, UTF16格式, 帶BOM BE,
InputStreamReader reader=new InputStreamReader(fin, "utf-16le")
會出亂碼, 原因: 字節的高低位弄反了, 'a' 在文件里 [0x00, 0x61], 但java以為'a'應該是[0x61 0x00]
4. 文件A, UTF16格式, 帶BOM BE,
InputStreamReader reader=new InputStreamReader(fin, "utf-16be")
會多輸出一個"?"在第一個字節, 原因: java沒有把頭2位當成BOM
5. 文件A, UTF16格式, LE 不帶BOM,
InputStreamReader reader=new InputStreamReader(fin, "utf-16")
會出亂碼, 因為utf-16對於java來說, 默認為be(1.6JDK, 以后的說不准)
但windows的notepad打開正常, 因為notepad默認為le, - -#
6. 文件A, UTF16格式, BE 不帶BOM,
InputStreamReader reader=new InputStreamReader(fin, "utf-16")
恭喜你, 蒙對了
但winodws的notepad打開時, 每個字符中間都多了一個" ", 因為notepad把它當成ASNI了
在windows下輸出unicode文件
通過java出來unicode文件, 也容易混淆
- FileOutputStream fout=new FileOutputStream(file);
- OutputStreamWriter writer=new OutputStreamWriter(fout, charset);
1. charset為"UTF-16"時, java會默認添加BOM [0xFE, 0xFF], 並以BE的格式編寫byte
2. charset為"UTF-16BE"時, java不會添加BOM, 但編碼方式為 BE
3. charset為"UTF-16LE"時, java不會添加BOM, 但編碼方式為 LE
以上通過 test.getByte("utf-16"), test.getByte("utf-16be"), test.getByte("utf-16le") 可以驗證
而windows的notepad默認的unicode為 LE, 並帶BOM,
所以, 推薦輸出 UTF-16LE, 並人為添加BOM, 即:
- byte[] bom={-1, -2}; //FF FE, java的byte用的是補碼, 驗證: b=127, b+=1, 而b=-128
- fout.write(bom);