Python encode()方法轉碼問題的解決方法 ignore


很多時候  使用python 尤其是python2的時候 中文轉碼很頭疼   下面是encode 在菜鳥筆記python 文檔中查詢到的相關解釋說明

描述

Python encode() 方法以 encoding 指定的編碼格式編碼字符串。errors參數可以指定不同的錯誤處理方案。

語法

encode()方法語法:

str.encode(encoding='UTF-8',errors='strict')

參數

  • encoding -- 要使用的編碼,如"UTF-8"。
  • errors -- 設置不同錯誤的處理方案。默認為 'strict',意為編碼錯誤引起一個UnicodeError。 其他可能得值有 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace' 以及通過 codecs.register_error() 注冊的任何值。

若希望將Json文件轉化為python形式的Unicode字符串,可以如下操作
unicodestr = json.loads(html.decode("gbk"))
但在實際開發中,這種辦法時常會出現異常:
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 205: illegal multibyte sequence
經網上查詢了解到這是因為遇到了非法字符——尤其是在某些用C/C++編寫的程序中,全角空格往往有多種不同的實現方式,比如\xa3\xa0,或者\xa4\x57,這些字符,看起來都是全角空格,但它們並不是“合法”的全角空格(真正的全角空格是\xa1\xa1),因此在轉碼的過程中出現了異常。

這樣的問題很讓人頭疼,因為只要字符串中出現了一個非法字符,整篇文章就都無法轉碼。

解決辦法:
unicodestr = json.loads(html.decode("gbk", “ignore”))
因為decode的函數原型是decode([encoding], [errors='strict']),可以用第二個參數控制錯誤處理的策略,默認的參數就是strict,代表遇到非法字符時拋出異常;
如果設置為ignore,則會忽略非法字符
如果設置為replace,則會用?取代非法字符;
如果設置為xmlcharrefreplace,則使用XML的字符引用。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM