錯誤原因:我們可以看到錯誤提示中的字符0xF0 0x9F 0x98 0x84 ,這對應UTF-8編碼格式中的4字節編碼(UTF-8編碼規范)。正常的漢字一般不會超過3個字節,為什么為出現4個字節呢?實際上是它對應的是智能手機輸入法中的表情。那為什么會報錯呢?因為mysql中的utf-8並不是真正意義上的utf-8,它只能存儲1~3個字節長度的utf-8編碼,如果想存儲4個字節的必須用utf8mb4類型。不而要使用utf8mb4類型,首先要保證Mysql版本要不低於 MySQL 5.5.3。
常用字符集
- ASCII:美國信息互換標准編碼;英語和其他西歐語言;單字節編碼,7位表示一個字符,共128字符。
- GBK:雙字節,漢字內碼擴展規范;中日韓漢字、英文、數字;雙字節編碼;共收錄了21003個漢字,GB2312的擴展。
- UTF-8:Unicode標准的可變長度字符編碼;Unicode標准(統一碼),業界統一標准,包括世界上數十種文字的系統;
- UTF-8:使用一至三個字節為每個字符編碼。
- utf8mb4:存儲四個字節,應用場景用於存儲
emoji表情,因為可以emoji表情四個字節。 - utf8mb4:MySQL版本 > 5.5.3 。
- 其他常見字符集:
UTF-32,UTF-16,Big5,latin1 - 數據庫中的字符集包含兩層含義
- 各種文字和符號的集合,包括各國家文字、標點符號、圖形符號、數字等。
- 字符的編碼方式,即二進制數據與字符的映射規則。
解決方案:
1)使用utf8mb4數據類型
[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
將數據庫中對應的字段,改為utf8mb4_general_ci
# 對每一個數據庫:
ALTER DATABASE 這里數據庫名字 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
# 對每一個表:
ALTER TABLE 這里是表名字 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 對每一個字段:
ALTER TABLE 這里是表名字 CHANGE 字段名字 重復字段名字 VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# 上面一句或者使用modify來更改
ALTER TABLE 這里是表名字 modify 字段名字 VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT '';
utf8mb4完全向后兼容utf8,無亂碼或其他數據丟失的形式出現。理論上是可以放心修改… 還是修改數據庫比較方便。
修改項目中的連接數據庫的url,將characterEncoding=utf-8去掉,此步驟一定要進行
2)自定義過濾規則,將文本中出現的四字節UTF-8字符過濾或轉化為自定義類型。
下面是將4字節字符轉化為0000的測試例子。
for (int i = 0; i < b_text.length; i++) {
if((b_text[i] & 0xF8)== 0xF0){
for (int j = 0; j < 4; j++) {
b_text[i+j]=0x30;
}
i+=3;
}
}
3)改成gbk編碼也可以,不過我沒試過
查看三種MySQL字符集的方法
一、查看MySQL數據庫服務器和數據庫MySQL字符集。
- mysql> show variables like '%char%';
二、查看MySQL數據表(table)的MySQL字符集。
- mysql> show table status from sqlstudy_db like '%countries%';
三、查看MySQL數據列(column)的MySQL字符集。
- mysql> show full columns from countries;
