關於C#開發中那些編碼問題

最近一直在搞各種編碼問題，略有心得，與大家分享一番。

System.Text提供了Encoding的抽象類，這個類提供字符串編碼的方法。常用的編碼方式主要有ASCII，Unicode，UTF8（Unicode編碼的一種）。

Unicode有四種編碼格式，UTF-8, UTF-16,UTF-32,UTF-7。

字符編碼類,ASCIIEncoding ,UTF7Encoding,UnicodeEncoding,UTF32Encoding。

下面對ASCII和Unicode編碼進行對比，廢話不說，先上代碼：

這是ASCII編碼、解碼。

        static void Main(string[] args)
        {
            string temp = "Hello World!";
            Console.WriteLine("Original String:{0}", temp);
            
            byte[] tempBytes = System.Text.Encoding.ASCII.GetBytes(temp);
            Console.WriteLine("Bytes Array:{0}", BitConverter.ToString(tempBytes));

            BigInteger integer = new BigInteger(tempBytes);
            Console.WriteLine("BigInteger:{0}", integer);

            string res = System.Text.Encoding.ASCII.GetString(tempBytes);
            Console.WriteLine("Convert Back String:{0}", res);
            Console.ReadKey();
        }

運行結果如下：

Original String:Hello World!
Bytes Array:48-65-6C-6C-6F-20-57-6F-72-6C-64-21
BigInteger:10334410032597741434076685640
Convert Back String:Hello World!

 很正常，對吧？但是，如果輸入的字符串是中文（或者其他非ASCII表中的字符），情況會怎么樣呢？

改變上面的程序代碼

string temp = "你好，世界！";

運行結果如下：

Original String:你好，世界！
Bytes Array:3F-3F-3F-3F-3F-3F
BigInteger:69540876599103
Convert Back String:??????

 如果把編碼格式換成UTF8，依然重復上面的測試過程。

        static void Main(string[] args)
        {
            string temp = "你好，世界！";
            Console.WriteLine("Original String:{0}", temp);
            
            byte[] tempBytes = System.Text.Encoding.UTF8.GetBytes(temp);
            Console.WriteLine("Bytes Array:{0}", BitConverter.ToString(tempBytes));

            BigInteger integer = new BigInteger(tempBytes);
            Console.WriteLine("BigInteger:{0}", integer);

            string res = System.Text.Encoding.UTF8.GetString(tempBytes);
            Console.WriteLine("Convert Back String:{0}", res);
            Console.ReadKey();
        }

運行結果如下：

Original String:你好，世界！
Bytes Array:E4-BD-A0-E5-A5-BD-EF-BC-8C-E4-B8-96-E7-95-8C-EF-BC-81
BigInteger:-10998968812899434720462615123889939386679836
Convert Back String:你好，世界！

 

Original String:Hello World!
Bytes Array:48-65-6C-6C-6F-20-57-6F-72-6C-64-21
BigInteger:10334410032597741434076685640
Convert Back String:Hello World!

 通過對比，我們發現除了兼容中文和其他語言外，似乎沒有太大區別。如果把編碼集換成Unicode，中英文字符編碼的不同就會很容易看出來了。

Original String:Hello World!
Bytes Array:48-00-65-00-6C-00-6C-00-6F-00-20-00-57-00-6F-00-72-00-6C-00-64-00-21-00
BigInteger:3160918205608148134863399242437668999277801104545742920
Convert Back String:Hello World!

 

Original String:你好，世界！
Bytes Array:60-4F-7D-59-0C-FF-16-4E-4C-75-01-FF
BigInteger:-307722159543719876182061216
Convert Back String:你好，世界！

如果不考慮其他情況。通過對比結果，我們發現：

1、ASCII只能處理英文和英文符號，具體請參考ASCII字符表

2、Unicode可以處理全球所有語言符號

3、Unicode處理英文時，會在每個字節后面加一個字節0x00，比ASCII多出一倍的長度；處理中文時，編碼較短。

4、UTF8處理中文時比Unicode編碼長，處理英文時與ASCII一樣。

結論，由於現在存儲介質越來越不值錢，在處理有非英文字符時，編碼格式應該選擇Unicode（或其子集UTF8等的任意一種編碼格式），只有在確定程序只會處理英文的時候，才能選擇ASCII編碼。