mysql 保存emoji時報,數據庫報錯:Caused by: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x82\xF0\x9F...' for column 'review' at row 1


錯誤原因:我們可以看到錯誤提示中的字符0xF0 0x9F 0x98 0x84 ,這對應UTF-8編碼格式中的4字節編碼(UTF-8編碼規范)。正常的漢字一般不會超過3個字節,為什么為出現4個字節呢?實際上是它對應的是智能手機輸入法中的表情。那為什么會報錯呢?因為mysql中的utf-8並不是真正意義上的utf-8,它只能存儲1~3個字節長度的utf-8編碼,如果想存儲4個字節的必須用utf8mb4類型。不而要使用utf8mb4類型,首先要保證Mysql版本要不低於 MySQL 5.5.3。

 

常用字符集

    • ASCII:美國信息互換標准編碼;英語和其他西歐語言;單字節編碼,7位表示一個字符,共128字符。
    • GBK:雙字節,漢字內碼擴展規范;中日韓漢字、英文、數字;雙字節編碼;共收錄了21003個漢字,GB2312的擴展。
    • UTF-8:Unicode標准的可變長度字符編碼;Unicode標准(統一碼),業界統一標准,包括世界上數十種文字的系統;
    • UTF-8:使用一至三個字節為每個字符編碼。
    • utf8mb4:存儲四個字節,應用場景用於存儲emoji表情,因為可以emoji表情四個字節。
    • utf8mb4:MySQL版本 > 5.5.3 。
    • 其他常見字符集:UTF-32UTF-16Big5latin1
    • 數據庫中的字符集包含兩層含義 
      • 各種文字和符號的集合,包括各國家文字、標點符號、圖形符號、數字等。
      • 字符的編碼方式,即二進制數據與字符的映射規則。

解決方案:

1)使用utf8mb4數據類型

[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

將數據庫中對應的字段,改為utf8mb4_general_ci

  # 對每一個數據庫:

  ALTER DATABASE 這里數據庫名字 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
  # 對每一個表:
  ALTER TABLE 這里是表名字 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
  # 對每一個字段:
  ALTER TABLE 這里是表名字 CHANGE 字段名字 重復字段名字 VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
  # 上面一句或者使用modify來更改
  ALTER TABLE 這里是表名字 modify 字段名字 VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT '';
  utf8mb4完全向后兼容utf8,無亂碼或其他數據丟失的形式出現。理論上是可以放心修改… 還是修改數據庫比較方便。


修改項目中的連接數據庫的url,將characterEncoding=utf-8去掉,此步驟一定要進行

2)自定義過濾規則,將文本中出現的四字節UTF-8字符過濾或轉化為自定義類型。

下面是將4字節字符轉化為0000的測試例子。

for (int i = 0; i < b_text.length; i++) 

  if((b_text[i] & 0xF8)== 0xF0){
    for (int j = 0; j < 4; j++) {
    b_text[i+j]=0x30;
  }
  i+=3;
  }
}

3)改成gbk編碼也可以,不過我沒試過

查看三種MySQL字符集的方法

一、查看MySQL數據庫服務器和數據庫MySQL字符集。

  1. mysql> show variables like '%char%';  

二、查看MySQL數據表(table)的MySQL字符集。

  1. mysql> show table status from sqlstudy_db like '%countries%';  

三、查看MySQL數據列(column)的MySQL字符集。

  1. mysql> show full columns from countries;  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM