MySQL表字段字符集不同導致的索引失效問題

一、問題描述

昨天晚上，測試小妹妹突然發現，保存企業信息的時候突然報錯，我在查看日志之后，發現在添加企業管理員的時候保存企業和用戶關系時執行sql報錯，原因是user_name字段保存不了特殊字符，因為使用的是utf-8的編碼格式，因此決定設置為utf8mb4編碼格式，來存儲用戶名稱。ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;執行了這條sql語句設置了表的字符集為utf8mb4，兩分鍾后，有人提出，日常環境查詢巨慢，才發現問題。通過企業信息表和企業用戶關系表查詢時速度巨慢無比。sql如下：

 

select  e.* from pub_yht_enterprise e  , pub_yht_enterprise_user eu where  e.id=eu.enterid and eu.userid= '1b65884d-49e9-4a42-b192-bd9cba095f67'

 

查看執行計划：驚訝的發現 pub_yht_enterprise竟然沒有走主鍵索引，進行了全表掃描，懷疑是設置編碼格式導致的。

 

 通過show full columns from pub_yht_enterprise_user;查看表字段的編碼格式，如下圖：

 

 兩張表的企業id字段編碼不同，更改列的編碼格式ALTER TABLE pub_yht_enterprise_user CHANGE enterid enterid VARCHAR(100) CHARACTER SET utf8 COLLATE utf8_general_ci;再次查看執行計划，走了索引：如圖：

 

 

 問題解決。

 二、問題總結

（1）表字符集不同時，可能導致join的SQL使用不到索引，引起嚴重的性能問題；

（2）SQL上線前要做好SQL Review工作，盡量在和生產環境一樣的環境下Review；

（3）改字符集的alter table操作會阻塞寫，盡量在業務低峰操作，建議用pt-online-schema-change;

（4）表結構字符集要保持一致，發布時要做好審核工作；

（5）如果要大批量修改表的字符集，同樣做好SQL的Review工作，關聯的表的字符集一起做修改。

三、Mysql修改數據庫、表、字段字符集說明

修改表字符集：

ALTER TABLE tbl_name DEFAULT CHARACTER SET character_name [COLLATE ...]; 把表默認的字符集和所有字符列（CHAR,VARCHAR,TEXT）改為新的字符集：

ALTER TABLE tbl_name CONVERT TO CHARACTER SET character_name [COLLATE ...] 如：ALTER TABLE logtest CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;

只是修改表的默認字符集：

ALTER TABLE tbl_name DEFAULT CHARACTER SET character_name [COLLATE...];

如：ALTER TABLE logtest DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

修改字段的字符集：

ALTER TABLE tbl_name CHANGE c_name c_name CHARACTER SET character_name [COLLATE ...];

如：ALTER TABLE logtest CHANGE title title VARCHAR(100) CHARACTER SET utf8 COLLATE utf8_general_ci;

查看數據庫編碼：

SHOW CREATE DATABASE db_name;

查看表編碼：

SHOW CREATE TABLE tbl_name;

查看字段編碼：

SHOW FULL COLUMNS FROM tbl_name;

查看系統的編碼字符

SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';

 

四、升級utf8到utf8mb4

1、備份

安全第一，備份所有需要升級字符編碼的數據庫

• 可以將庫dump出來。
• 如果是虛擬機，可以給整個主機做快照。

2、升級數據庫

utf8mb4是MySQL5.5.3版本之后支持的字符集，so，如果你需要使用這個字符集，前提條件是你的MySQL版本必須 >= 5.5.3

3、修改編碼集

在MySQL中，可以為一個database設置字符編碼，可以為一張表設置字符編碼，也以為某一個字段設置字符編碼。

• 查看當前系統默認的字符集設置

       SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';

• 查看database的字符編碼

       show create database polarsnow;

• 查看table的字符編碼

       show create table ps;

• 查看column的字符編碼

      show full columns from ps;

修改database默認的字符集

ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci

雖然修改了database的字符集為utf8mb4，但是實際只是修改了database新創建的表，默認使用utf8mb4，原來已經存在的表，字符集並沒有跟着改變，需要手動為每張表設置字符集。

修改table的字符集

• 只修改表默認的字符集 ALTER TABLE table_name DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
• 修改表默認的字符集和所有字符列的字符集 ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

單獨修改column默認的字符集

ALTER TABLE table_name CHANGE column_name column_name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

注：VARCHAR(191) 根據字段實例的類型填寫

4、檢查字段的最大長度和索引列

• 字段長度

由於從utf8升級到了utf8mb4，一個字符所占用的空間也由3個字節增長到4個字節，但是我們當初創建表時，設置的字段類型以及最大的長度沒有改變。例如，你在utf8下設置某一字段的類型為TINYTEXT, 這中字段類型最大可以容納255字節，三個字節一個字符的情況下可以容納85個字符，四個字節一個字符的情況下只能容納63個字符，如果原表中的這個字段的值有一個或多個超過了63個字符，那么轉換成utf8mb4字符編碼時將轉換失敗，你必須先將TINYTEXT更改為TEXT等更高容量的類型之后才能繼續轉換字符編碼

• 索引

在InnoDB引擎中，最大的索引長度為767字節，三個字節一個字符的情況下，索引列的字符長度最大可以達到255，四個字節一個字符的情況下，索引的字符長度最大只能到191。如果你已經存在的表中的索引列的類型為VARCHAR(255)那么轉換utf8mb4時同樣會轉換失敗。你需要先將VARCHAR(255)更改為VARCHAR(191)才能繼續轉換字符編碼

5、修改配置文件

SET NAMES utf8 COLLATE utf8_unicode_ci becomes SET NAMES utf8mb4 COLLATE utf8mb4_unicode_ci

> vim /etc/my.cnf
# 對本地的mysql客戶端的配置
[client]
default-character-set = utf8mb4

# 對其他遠程連接的mysql客戶端的配置
[mysql]
default-character-set = utf8mb4

# 本地mysql服務的配置
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
> service mysqld restart

檢查修改

mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';
+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8mb4            |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8mb4            |
| character_set_server     | utf8mb4            |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+
10 rows in set (0.00 sec)

注：character_set_system 一直都會是 utf8，不能被更改

6. 修復&優化所有數據表

mysqlcheck -u root -p --auto-repair --optimize --all-databases

五、總結

就一句話，上生產環境一定要評估sql，大家一起看，要執行的sql帶來的影響，慎重再慎重，防止生產環境事故的發生