UTF8與GBK字符編碼之間的相互轉換
一 預備知識
1，字符：字符是抽象的最小文本單位。它沒有固定的形狀（可能是一個字形），而且沒有值。“A”是一個字符，“€”（德國、法國和許多其他歐洲國家通用貨幣的標志）也是一個字符。“中”“國”這是兩個漢字字符。字符僅僅代表一個符號，沒有任何實際值的意義。
2，字符集：字符集是字符的集合。例如，漢字字符是中國人最先發明的字符，在中文、日文、韓文和越南文的書寫中使用。這也說明了字符和字符集之間的關系，字符組成字符集（iso8859-1，GB2312/GBK，unicode）。
3，代碼點：字符集中的每個字符都被分配到一個“代碼點”。每個代碼點都有一個特定的唯一數值，稱為標值。該標量值通常用十六進制表示。
4，代碼單元： 在每種編碼形式中，代碼點被映射到一個或多個代碼單元。“代碼單元”是各個編碼方式中的單個單元。代碼單元的大小等效於特定編碼方式的位數： UTF-8 ：UTF-8 中的代碼單元由 8 位組成；在 UTF-8 中，因為代碼單元較小的緣故，每個代碼點常常被映射到多個代碼單元。代碼點將被映射到一個、兩個、三個或四個代碼單元； UTF-16 ：UTF-16 中的代碼單元由 16 位組成；UTF-16 的代碼單元大小是 8 位代碼單元的兩倍。所以，標量值小於 U+10000 的代碼點被編碼到單個代碼單元中； UTF-32：UTF-32 中的代碼單元由 32 位組成； UTF-32 中使用的 32 位代碼單元足夠大，每個代碼點都可編碼為單個代碼單元； GB18030：GB18030 中的代碼單元由 8 位組成；在 GB18030 中，因為代碼單元較小的緣故，每個代碼點常常被映射到多個代碼單元。代碼點將被映射到一個、兩個或四個代碼單元。
5，舉例： “中國北京香蕉是個大笨蛋”這是我定義的aka字符集；
各字符對應代碼點為：
北 00000001
京 00000010
香 10000001
蕉 10000010
是 10000100
個 10001000
大 10010000
笨 10100000
蛋 11000000
中 00000100
國 00001000
下面是我定義的 zixia 編碼方案（8位），可以看到它的編碼中表示了aka字符集的所有字符對應的 代碼單元；
北 10000001 京 10000010 香 00000001 蕉 00000010 是 00000100 個 00001000 大 00010000 笨 00100000 蛋 01000000 中 10000100 國 10001000
所謂文本文件 就是我們按一定編碼方式將二進制數據表示為對應的文本如 00000001000000100000010000001000000100000010000001000000這樣的文件。我用一個支持 zixia編碼和aka字符集的記事本打開，它就按照編碼方案顯示為 “香蕉是個大笨蛋 ” 如果我把這些字符按照GBK另存一個文件，那么則肯定不是這個，而是 1100111111100011 1011110110110110 1100101011000111 1011100011110110 1011010011110011 1011000110111111 1011010110110000 110100001010
二，字符集
1， 常用字符集分類 ASCII及其擴展字符集 作用：表語英語及西歐語言。 位數：ASCII是用7位表示的，能表示128個字符；其擴展使用8位表示，表示256個字符。 范圍：ASCII從00到7F，擴展從00到FF。 ISO-8859-1字符集 作用：擴展ASCII，表示西歐、希臘語等。 位數：8位， 范圍：從00到FF，兼容ASCII字符集。 GB2312字符集 作用：國家簡體中文字符集，兼容ASCII。 位數：使用2個字節表示，能表示7445個符號，包括6763個漢字，幾乎覆蓋所有高頻率漢字。 范圍：高字節從A1到F7, 低字節從A1到FE。將高字節和低字節分別加上0XA0即可得到編碼。 BIG5字符集 作用：統一繁體字編碼。 位數：使用2個字節表示，表示13053個漢字。 范圍：高字節從A1到F9，低字節從40到7E，A1到FE。 GBK字符集 作用：它是GB2312的擴展，加入對繁體字的支持，兼容GB2312。 位數：使用2個字節表示，可表示21886個字符。 范圍：高字節從81到FE，低字節從40到FE。 GB18030字符集 作用：它解決了中文、日文、朝鮮語等的編碼，兼容GBK。 位數：它采用變字節表示(1 ASCII，2，4字節)。可表示27484個文字。 范圍：1字節從00到7F; 2字節高字節從81到FE，低字節從40到7E和80到FE；4字節第一三字節從81到FE，第二四字節從30到39。 UCS字符集 作用：國際標准 ISO 10646 定義了通用字符集 (Universal Character Set)。它是與UNICODE同類的組織，UCS-2和UNICODE兼容。 位數：它有UCS-2和UCS-4兩種格式，分別是2字節和4字節。 范圍：目前，UCS-4只是在UCS-2前面加了0×0000。 UNICODE字符集 作用：為世界650種語言進行統一編碼，兼容ISO-8859-1。 位數：UNICODE字符集有多個編碼方式，分別是UTF-8，UTF-16和UTF-32。
2 ，按所表示的文字分類 語言 字符集 正式名稱 英語、西歐語 ASCII，ISO-8859-1 MBCS 多字節 簡體中文 GB2312 MBCS 多字節 繁體中文 BIG5 MBCS 多字節 簡繁中文 GBK MBCS 多字節 中文、日文及朝鮮語 GB18030 MBCS 多字節 各國語言 UNICODE，UCS DBCS 寬字節 三
，編碼 UTF-8：采用變長字節 (1 ASCII, 2 希臘字母, 3 漢字, 4 平面符號) 表示，網絡傳輸, 即使錯了一個字節，不影響其他字節，而雙字節只要一個錯了，其他也錯了，具體如下： 如果只有一個字節則其最高二進制位為0；如果是多字節，其第一個字節從最高位開始，連續的二進制位值為1的個數決定了其編碼的字節數，其余各字節均以10開頭。UTF-8最多可用到6個字節。 UTF-16：采用2字節，Unicode中不同部分的字符都同樣基於現有的標准。這是為了便於轉換。從 0×0000到0×007F是ASCII字符，從0×0080到0×00FF是ISO-8859-1對ASCII的擴展。希臘字母表使用從0×0370到 0×03FF 的代碼，斯拉夫語使用從0×0400到0×04FF的代碼，美國使用從0×0530到0×058F的代碼，希伯來語使用從0×0590到0×05FF的代碼。中國、日本和韓國的象形文字（總稱為CJK）占用了從0×3000到0×9FFF的代碼；由於0×00在c語言及操作系統文件名等中有特殊意義，故很多情況下需要UTF-8編碼保存文本，去掉這個0×00。舉例如下： UTF-16: 0×0080 = 0000 0000 1000 0000 UTF-8: 0xC280 = 1100 0010 1000 0000 UTF-32：采用4字節。 優缺點 UTF-8、UTF-16和UTF-32都可以表示有效編碼空間 (U+000000-U+10FFFF) 內的所有Unicode字符。 使用UTF-8編碼時ASCII字符只占1個字節，存儲效率比較高，適用於拉丁字符較多的場合以節省空間。 對於大多數非拉丁字符（如中文和日文）來說，UTF-16所需存儲空間最小，每個字符只占2個字節。 Windows NT內核是Unicode（UTF-16），采用UTF-16編碼在調用系統API時無需轉換，處理速度也比較快。 采用UTF-16和UTF-32會有Big Endian和Little Endian之分，而UTF-8則沒有字節順序問題，所以UTF-8適合傳輸和通信。 UTF-32采用4字節編碼，一方面處理速度比較快，但另一方面也浪費了大量空間，影響傳輸速度，因而很少使用。
四，如何判斷字符集 1，字節序 首先說一下字節序對編碼的影響，字節序分為Big Endian字節序和Little Endian字節序。不同的處理器可能不一樣。所以，傳輸時需要告訴處理器當時的編碼字節序。對於前者而言，高位字節存在低地址，低字節存於高地址；后者相反。例如，0X03AB, Big Endian字節序 0000: 0 3 0001: AB Little Endian字節序是 0000: AB 0001: 0 3 2，編碼識別 UNICODE，根據前幾個字節可以判斷UNICODE字符集的各種編碼，叫做Byte Order Mask方法BOM： UTF-8: EFBBBF (符合UTF-8格式，請看上面。但沒有含義在UCS即UNICODE中) UTF-16 Big Endian：FEFF (沒有含義在UCS-2中) UTF-16 Little Endian：FFFE (沒有含義在UCS-2中) UTF-32 Big Endian：0000FEFF (沒有含義在UCS-4中) UTF-32 Little Endian：FFFE0000 (沒有含義在UCS-4中) GB2312：高字節和低字節的第1位都是1。 BIG5，GBK&GB18030：高字節的第1位為1。操作系統有默認的編碼，常為GBK，可以下載別的並升級。 通過判斷高字節的第1位從而知道是ASCII或者漢字編碼。
#include <stdio.h> #include <windows.h> //GBK編碼轉換到UTF8編碼 int GBKToUTF8(unsigned char * lpGBKStr,unsigned char * lpUTF8Str,int nUTF8StrLen) { wchar_t * lpUnicodeStr = NULL; int nRetLen = 0; if(!lpGBKStr) //如果GBK字符串為NULL則出錯退出 return 0; nRetLen = ::MultiByteToWideChar(CP_ACP,0,(char *)lpGBKStr,-1,NULL,NULL); //獲取轉換到Unicode編碼后所需要的字符空間長度 lpUnicodeStr = new WCHAR[nRetLen + 1]; //為Unicode字符串空間 nRetLen = ::MultiByteToWideChar(CP_ACP,0,(char *)lpGBKStr,-1,lpUnicodeStr,nRetLen); //轉換到Unicode編碼 if(!nRetLen) //轉換失敗則出錯退出 return 0; nRetLen = ::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,NULL,0,NULL,NULL); //獲取轉換到UTF8編碼后所需要的字符空間長度 if(!lpUTF8Str) //輸出緩沖區為空則返回轉換后需要的空間大小 { if(lpUnicodeStr) delete []lpUnicodeStr; return nRetLen; } if(nUTF8StrLen < nRetLen) //如果輸出緩沖區長度不夠則退出 { if(lpUnicodeStr) delete []lpUnicodeStr; return 0; } nRetLen = ::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,(char *)lpUTF8Str,nUTF8StrLen,NULL,NULL); //轉換到UTF8編碼 if(lpUnicodeStr) delete []lpUnicodeStr; return nRetLen; } //使用這兩個函數的例子 int main() { char cGBKStr[] = "我是中國人!"; char * lpGBKStr = NULL; char * lpUTF8Str = NULL; FILE * fp = NULL; int nRetLen = 0; nRetLen = GBKToUTF8((unsigned char *) cGBKStr,NULL,NULL); printf("轉換后的字符串需要的空間長度為：%d ",nRetLen); lpUTF8Str = new char[nRetLen + 1]; nRetLen = GBKToUTF8((unsigned char *)cGBKStr,(unsigned char *)lpUTF8Str,nRetLen); if(nRetLen) { printf("GBKToUTF8轉換成功！"); } else { printf("GBKToUTF8轉換失敗！"); goto Ret0; } fp = fopen("C:\\GBKtoUTF8.txt","wb"); //保存到文本文件 fwrite(lpUTF8Str,nRetLen,1,fp); fclose(fp); getchar(); //先去打開那個文本文件看看，單擊記事本的“文件”-“另存為”菜單，在對話框中看到編碼框變為了“UTF-8”說明轉換成功了 Ret0: { if(lpGBKStr) delete []lpGBKStr; if(lpUTF8Str) delete []lpUTF8Str; } return 0; }
Karlson,2009-07-25 13:39:57
1 class CChineseCode 2 3 { 4 5 public: 6 7 static void UTF_8ToUnicode(wchar_t* pOut,char *pText); // 把UTF-8轉換成Unicode 8 9 static void UnicodeToUTF_8(char* pOut,wchar_t* pText); //Unicode 轉換成UTF-8 10 11 static void UnicodeToGB2312(char* pOut,wchar_t uData); // 把Unicode 轉換成 GB2312 12 13 static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 轉換成 Unicode 14 15 static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 轉為 UTF-8 16 17 static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 轉為 GB2312 18 19 }; 20 21 類實現 22 23 void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText) 24 25 { 26 27 char* uchar = (char *)pOut; 28 29 uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F); 30 31 uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F); 32 33 return; 34 35 } 36 37 void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText) 38 39 { 40 41 // 注意 WCHAR高低字的順序,低字節在前，高字節在后 42 43 char* pchar = (char *)pText; 44 45 pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4)); 46 47 pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6); 48 49 pOut[2] = (0x80 | (pchar[0] & 0x3F)); 50 51 return; 52 53 } 54 55 void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData) 56 57 { 58 59 WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL); 60 61 return; 62 63 } 64 65 void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer) 66 67 { 68 69 ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1); 70 71 return ; 72 73 } 74 75 void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen) 76 77 { 78 79 char buf[4]; 80 81 int nLength = pLen* 3; 82 83 char* rst = new char[nLength]; 84 85 memset(buf,0,4); 86 87 memset(rst,0,nLength); 88 89 int i = 0; 90 91 int j = 0; 92 93 while(i < pLen) 94 95 { 96 97 //如果是英文直接復制就可以 98 99 if( *(pText + i) >= 0) 100 101 { 102 103 rst[j++] = pText[i++]; 104 105 } 106 107 else 108 109 { 110 111 wchar_t pbuffer; 112 113 Gb2312ToUnicode(&pbuffer,pText+i); 114 115 UnicodeToUTF_8(buf,&pbuffer); 116 117 unsigned short int tmp = 0; 118 119 tmp = rst[j] = buf[0]; 120 121 tmp = rst[j+1] = buf[1]; 122 123 tmp = rst[j+2] = buf[2]; 124 125 j += 3; 126 127 i += 2; 128 129 } 130 131 } 132 133 rst[j] = ''; 134 135 //返回結果 136 137 pOut = rst; 138 139 delete []rst; 140 141 return; 142 143 } 144 145 void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen) 146 147 { 148 149 char * newBuf = new char[pLen]; 150 151 char Ctemp[4]; 152 153 memset(Ctemp,0,4); 154 155 int i =0; 156 157 int j = 0; 158 159 while(i < pLen) 160 161 { 162 163 if(pText > 0) 164 165 { 166 167 newBuf[j++] = pText[i++]; 168 169 } 170 171 else 172 173 { 174 175 WCHAR Wtemp; 176 177 UTF_8ToUnicode(&Wtemp,pText + i); 178 179 UnicodeToGB2312(Ctemp,Wtemp); 180 181 newBuf[j] = Ctemp[0]; 182 183 newBuf[j + 1] = Ctemp[1]; 184 185 i += 3; 186 187 j += 2; 188 189 } 190 191 } 192 193 newBuf[j] = ''; 194 195 pOut = newBuf; 196 197 delete []newBuf; 198 199 return; 200 201 }
1、將GBK轉換成UTF8
string GBKToUTF8(const std::string& strGBK) { string strOutUTF8 = ""; WCHAR * str1; int n = MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, NULL, 0); str1 = new WCHAR[n]; MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, str1, n); n = WideCharToMultiByte(CP_UTF8, 0, str1, -1, NULL, 0, NULL, NULL); char * str2 = new char[n]; WideCharToMultiByte(CP_UTF8, 0, str1, -1, str2, n, NULL, NULL); strOutUTF8 = str2; delete[]str1; str1 = NULL; delete[]str2; str2 = NULL; return strOutUTF8; }
Wi d e C h a r To M u l t i B y t e把U N I C O D E轉換成A S C I I碼。
2、將UTF8轉換成GBK
string UTF8ToGBK(const std::string& strUTF8) { int len = MultiByteToWideChar(CP_UTF8, 0, strUTF8.c_str(), -1, NULL, 0); unsigned short * wszGBK = new unsigned short[len + 1]; memset(wszGBK, 0, len * 2 + 2); MultiByteToWideChar(CP_UTF8, 0, (LPCTSTR)strUTF8.c_str(), -1, wszGBK, len); len = WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, NULL, 0, NULL, NULL); char *szGBK = new char[len + 1]; memset(szGBK, 0, len + 1); WideCharToMultiByte(CP_ACP,0, wszGBK, -1, szGBK, len, NULL, NULL); //strUTF8 = szGBK; std::string strTemp(szGBK); delete[]szGBK; delete[]wszGBK; return strTemp; }