解決python中遇到的亂碼問題

1. 解決中文亂碼的一種可行方法

# -*- coding:utf-8 -*-
from __future__ import unicode_literals

import chardet


def smart_decoder(raw_content, default_encoding_list=("utf-8", "gb18030")):
    """
    將字符串解碼成unicode
    :type default_encoding_list: list of str
    :rtype: unicode
    :type raw_content: str|unicode
    """
    if isinstance(raw_content, unicode):
        return raw_content

    encoding = chardet.detect(raw_content).get("encoding", "utf-8")

    try:
        return raw_content.decode(encoding)
    except UnicodeEncodeError as e:
        for encoding in default_encoding_list:
            try:
                return raw_content.decode(encoding)
            except UnicodeEncodeError as e:
                pass
        raise e


if __name__ == '__main__':
    import requests

    a = requests.get("https://www.baidu.com").content
    smart_decoder(a)

 

2. requests響應結果亂碼

使用requests請求網址，獲取響應response， 通過response.text得到的網頁內容，有時候會出現亂碼的情況。

原因：

　　分析源代碼發現，調用respose.text 其實就是對 response.content執行解碼操作。編碼通過chardet判斷。

　　亂碼的關鍵是，chardet獲取的編碼可能不正確，但在執行response.content.decode時，程序會直接忽略編碼異常，從而導致使用錯誤的編碼解碼。

 

解決思路：

　　人工解碼，處理編碼錯誤

 

程序demo

def parse_response(response):
    """
    手工對requests的響應內容解碼
    :rtype: unicode
    """
    return smart_decoder(response.content)

 

源碼見blog.