MySQL字符集和校對規則詳解


在講解字符集和校對規則之前,我們先來簡單了解一下字符、字符集和字符編碼。

字符(Character)是計算機中字母、數字、符號的統稱,一個字符可以是一個中文漢字、一個英文字母、一個阿拉伯數字、一個標點符號等。

計算機是以二進制的形式來存儲數據的。平時我們在顯示器上看到的數字、英文、標點符號、漢字等字符都是二進制數轉換之后的結果。

字符集(Character set)定義了字符和二進制的對應關系,為字符分配了唯一的編號。常見的字符集有 ASCII、GBK、IOS-8859-1 等。

字符編碼(Character encoding)也可以稱為字集碼,規定了如何將字符的編號存儲到計算機中。

大部分字符集都只對應一種字符編碼,例如:ASCII、IOS-8859-1、GB2312、GBK,都是既表示了字符集又表示了對應的字符編碼。
所以一般情況下,可以將兩者視為同義詞。Unicode 字符集除外,Unicode 有三種編碼方案,即 UTF-8、UTF-16 和 UTF-32。最為常用的是 UTF-8 編碼

校對規則(Collation)也可以稱為排序規則,是指在同一個字符集內字符之間的比較規則。字符集和校對規則是一對多的關系,每個字符集都有一個默認的校對規則。字符集和校對規則相輔相成,相互依賴關聯。

簡單來說,字符集用來定義 MySQL 存儲字符串的方式,校對規則用來定義 MySQL 比較字符串的方式

有些數據庫並沒有清晰的區分開字符集和校對規則。例如,在 SQL Server 中創建數據庫時,選擇字符集就相當於選定了字符集和校對規則。

而在 MySQL 中,字符集和校對規則是區分開的,必須設置字符集和校對規則。一般情況下,沒有特殊需求,只設置其一即可。只設置字符集時,MySQL 會將校對規則設置為字符集中對應的默認校對規則。

可以通過SHOW VARIABLES LIKE 'character%';命令查看當前 MySQL 使用的字符集,命令和運行結果如下:

mysql> SHOW VARIABLES LIKE 'character%';
+--------------------------+---------------------------------------------------------+
| Variable_name            | Value                                                   |
+--------------------------+---------------------------------------------------------+
| character_set_client     | gbk                                                     |
| character_set_connection | gbk                                                     |
| character_set_database   | latin1                                                  |
| character_set_filesystem | binary                                                  |
| character_set_results    | gbk                                                     |
| character_set_server     | latin1                                                  |
| character_set_system     | utf8                                                    |
| character_sets_dir       | C:\Program Files\MySQL\MySQL Server 5.7\share\charsets\ |
+--------------------------+---------------------------------------------------------+
8 rows in set, 1 warning (0.01 sec)

 上述運行結果說明如下表所示:

亂碼時,不需要關心 character_set_filesystem、character_set_system 和 character_sets_dir 這 3 個系統變量,它們不會影響亂碼 。

可以通過SHOW VARIABLES LIKE 'collation\_%';命令查看當前 MySQL 使用的校對規則,命令和運行結果如下

mysql> SHOW VARIABLES LIKE 'collation\_%';
+----------------------+-------------------+
| Variable_name        | Value             |
+----------------------+-------------------+
| collation_connection | gbk_chinese_ci    |
| collation_database   | latin1_swedish_ci |
| collation_server     | latin1_swedish_ci |
+----------------------+-------------------+
3 rows in set, 1 warning (0.01 sec)

對上述運行結果說明如下:

  • collation_connection:連接數據庫時使用的校對規則
  • collation_database:創建數據庫時使用的校對規則
  • collation_server:MySQL 服務器使用的校對規則


校對規則命令約定如下:

  • 以校對規則所對應的字符集名開頭
  • 以國家名居中(或以 general 居中)
  • ci、cs 或 bin 結尾,ci 表示大小寫不敏感,cs 表示大小寫敏感,bin 表示按二進制編碼值比較

MySQL字符集的轉換過程

MySQL 中字符集的轉換過程如下:

1)在命令提示符窗口(cmd 命令行)中執行 MySQL 命令或 sql 語句時,這些命令或語句從“命令提示符窗口字符集”轉換為“character_set_client”定義的字符集。

2)使用命令提示符窗口成功連接 MySQL 服務器后,就建立了一條“數據通信鏈路”,MySQL 命令或 sql 語句沿着“數據鏈路”傳向 MySQL 服務器,由 character_set_client 定義的字符集轉換為 character_set_connection 定義的字符集。

3)MySQL 服務實例收到數據通信鏈路中的 MySQL 命令或 sql 語句后,將 MySQL 命令或 sql 語句從 character_set_connection 定義的字符集轉換為 character_set_server 定義的字符集。

4)若 MySQL 命令或 sql 語句針對於某個數據庫進行操作,此時將 MySQL 命令或 sql 語句從 character_set_server 定義的字符集轉換為 character_set_database 定義的字符集。

5)MySQL 命令或 sql 語句執行結束后,將執行結果設置為 character_set_results 定義的字符集。

6)執行結果沿着打開的數據通信鏈路原路返回,將執行結果從 character_set_results 定義的字符集轉換為 character_set_client 定義的字符集,最終轉換為命令提示符窗口字符集,顯示到命令提示符窗口中。

 

 下面介紹主要介紹查看字符集和校對規則的幾種方法。

在 MySQL 中,查看可用字符集的命令和執行過程如下:

mysql> SHOW CHARACTER set;
+----------+---------------------------------+---------------------+--------+
| Charset  | Description                     | Default collation   | Maxlen |
+----------+---------------------------------+---------------------+--------+
| big5     | Big5 Traditional Chinese        | big5_chinese_ci     |      2 |
| dec8     | DEC West European               | dec8_swedish_ci     |      1 |
| cp850    | DOS West European               | cp850_general_ci    |      1 |
| hp8      | HP West European                | hp8_english_ci      |      1 |
| koi8r    | KOI8-R Relcom Russian           | koi8r_general_ci    |      1 |
| latin1   | cp1252 West European            | latin1_swedish_ci   |      1 |
| latin2   | ISO 8859-2 Central European     | latin2_general_ci   |      1 |
| swe7     | 7bit Swedish                    | swe7_swedish_ci     |      1 |
| ascii    | US ASCII                        | ascii_general_ci    |      1 |
| ujis     | EUC-JP Japanese                 | ujis_japanese_ci    |      3 |
| sjis     | Shift-JIS Japanese              | sjis_japanese_ci    |      2 |
| hebrew   | ISO 8859-8 Hebrew               | hebrew_general_ci   |      1 |
| tis620   | TIS620 Thai                     | tis620_thai_ci      |      1 |
| euckr    | EUC-KR Korean                   | euckr_korean_ci     |      2 |
| koi8u    | KOI8-U Ukrainian                | koi8u_general_ci    |      1 |
| gb2312   | GB2312 Simplified Chinese       | gb2312_chinese_ci   |      2 |
| greek    | ISO 8859-7 Greek                | greek_general_ci    |      1 |
| cp1250   | Windows Central European        | cp1250_general_ci   |      1 |
| gbk      | GBK Simplified Chinese          | gbk_chinese_ci      |      2 |
| latin5   | ISO 8859-9 Turkish              | latin5_turkish_ci   |      1 |
| armscii8 | ARMSCII-8 Armenian              | armscii8_general_ci |      1 |
| utf8     | UTF-8 Unicode                   | utf8_general_ci     |      3 |
| ucs2     | UCS-2 Unicode                   | ucs2_general_ci     |      2 |
| cp866    | DOS Russian                     | cp866_general_ci    |      1 |
| keybcs2  | DOS Kamenicky Czech-Slovak      | keybcs2_general_ci  |      1 |
| macce    | Mac Central European            | macce_general_ci    |      1 |
| macroman | Mac West European               | macroman_general_ci |      1 |
| cp852    | DOS Central European            | cp852_general_ci    |      1 |
| latin7   | ISO 8859-13 Baltic              | latin7_general_ci   |      1 |
| utf8mb4  | UTF-8 Unicode                   | utf8mb4_general_ci  |      4 |
| cp1251   | Windows Cyrillic                | cp1251_general_ci   |      1 |
| utf16    | UTF-16 Unicode                  | utf16_general_ci    |      4 |
| utf16le  | UTF-16LE Unicode                | utf16le_general_ci  |      4 |
| cp1256   | Windows Arabic                  | cp1256_general_ci   |      1 |
| cp1257   | Windows Baltic                  | cp1257_general_ci   |      1 |
| utf32    | UTF-32 Unicode                  | utf32_general_ci    |      4 |
| binary   | Binary pseudo charset           | binary              |      1 |
| geostd8  | GEOSTD8 Georgian                | geostd8_general_ci  |      1 |
| cp932    | SJIS for Windows Japanese       | cp932_japanese_ci   |      2 |
| eucjpms  | UJIS for Windows Japanese       | eucjpms_japanese_ci |      3 |
| gb18030  | China National Standard GB18030 | gb18030_chinese_ci  |      4 |
+----------+---------------------------------+---------------------+--------+
41 rows in set (0.02 sec)

其中:

  • 第一列(Charset)為字符集名稱;
  • 第二列(Description)為字符集描述;
  • 第三列(Default collation)為字符集的默認校對規則;
  • 第四列(Maxlen)表示字符集中一個字符占用的最大字節數。

常用的字符集如下:

  • latin1 支持西歐字符、希臘字符等。
  • gbk 支持中文簡體字符。
  • big5 支持中文繁體字符。
  • utf8 幾乎支持所有國家的字符。

也可以通過查詢 information_schema.character_set 表中的記錄,來查看 MySQL 支持的字符集。SQL 語句和執行過程如下:

mysql> SELECT * FROM information_schema.character_sets;
+--------------------+----------------------+---------------------------------+--------+
| CHARACTER_SET_NAME | DEFAULT_COLLATE_NAME | DESCRIPTION                     | MAXLEN |
+--------------------+----------------------+---------------------------------+--------+
| big5               | big5_chinese_ci      | Big5 Traditional Chinese        |      2 |
| dec8               | dec8_swedish_ci      | DEC West European               |      1 |
| cp850              | cp850_general_ci     | DOS West European               |      1 |
| hp8                | hp8_english_ci       | HP West European                |      1 |
......

可以使用 SHOW COLLATION LIKE '***';命令來查看相關字符集的校對規則。

mysql> SHOW COLLATION LIKE 'gbk%';
+----------------+---------+----+---------+----------+---------+
| Collation      | Charset | Id | Default | Compiled | Sortlen |
+----------------+---------+----+---------+----------+---------+
| gbk_chinese_ci | gbk     | 28 | Yes     | Yes      |       1 |
| gbk_bin        | gbk     | 87 |         | Yes      |       1 |
+----------------+---------+----+---------+----------+---------+
2 rows in set (0.00 sec)

上面運行結果為 GBK 字符集所對應的校對規則,其中 gbk_chinese_ci 是默認的校對規則,對大小寫不敏感。而 gbk_bin 按照二進制編碼的值進行比較,對大小寫敏感

也可以通過查詢 information_schema.COLLATIONS 表中的記錄,來查看 MySQL 中可用的校對規則。SQL 語句和執行過程如下:

mysql> SELECT * FROM information_schema.COLLATIONS;
+--------------------------+--------------------+-----+------------+-------------+---------+
| COLLATION_NAME           | CHARACTER_SET_NAME | ID  | IS_DEFAULT | IS_COMPILED | SORTLEN |
+--------------------------+--------------------+-----+------------+-------------+---------+
| big5_chinese_ci          | big5               |   1 | Yes        | Yes         |       1 |
| big5_bin                 | big5               |  84 |            | Yes         |       1 |
| dec8_swedish_ci          | dec8               |   3 | Yes        | Yes         |       1 |
| dec8_bin                 | dec8               |  69 |            | Yes         |       1 |
| cp850_general_ci         | cp850              |   4 | Yes        | Yes         |       1 |
| cp850_bin                | cp850              |  80 |            | Yes         |       1 |
......

例 1

分別指定“A”和“a”按照 gbk_chinese_ci 和 gbk_bin 校對規則進行比較。SQL 語句和運行結果如下:

mysql> SELECT CASE WHEN 'A' COLLATE gbk_chinese_ci = 'a' COLLATE gbk_chinese_ci then 1
    -> else 0 end;
+-------------------------------------------------------------------------------------+
| CASE WHEN 'A' COLLATE gbk_chinese_ci = 'a' COLLATE gbk_chinese_ci then 1
else 0 end |
+-------------------------------------------------------------------------------------+
|                                                                                   1 |
+-------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

mysql> SELECT CASE WHEN 'A' COLLATE gbk_bin = 'a' COLLATE gbk_bin then 1
    -> else 0 end;
+-----------------------------------------------------------------------+
| CASE WHEN 'A' COLLATE gbk_bin = 'a' COLLATE gbk_bin then 1
else 0 end |
+-----------------------------------------------------------------------+
|                                                                     0 |
+-----------------------------------------------------------------------+
1 row in set (0.00 sec)

由於 gbk_chinese_ci 校對規則忽略大小寫,所以認為兩個“A“和“a”是相同的。 gbk_bin 校對規則不忽略大小寫,則認為兩個字符是不同的。

在實際應用中,我們應事先確認應用需要按照什么樣方式排序,是否區分大小寫,然后選擇相應的校對規則。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM