[轉]python 模塊 chardet下載及介紹

來源：http://blog.csdn.net/tianzhu123/article/details/8187470/

 

在處理字符串時，常常會遇到不知道字符串是何種編碼，如果不知道字符串的編碼就不能將字符串轉換成需要的編碼。面對多種不同編碼的輸入方式，是否會有一種有效的編碼方式？chardet是一個非常優秀的編碼識別模塊。

chardet 是python的第三方庫，需要下載和安裝。下載的地址有：

 

1.推薦地址：  http://download.csdn.net/download/aqwd2008/4256178 

2.官方地址：   http://pypi.python.org/pypi/chardet

如果采用源代碼安裝方法，有可能會提示缺少setuptools這個模塊。因此這里我們采用另外一種更為方便的安裝方法，不論你選擇哪種安裝包，將它解壓得到其中的文件夾【chardet】將這個文件夾復制到【python安裝根目錄\Lib\site-packages】下，確保這個位置可以被python引用到。如果不能被引用到請加入環境變量。

 

在安裝完chardet模塊，我就可以使用它了，來看一段示例代碼。

import chardet
import urllib

#可根據需要，選擇不同的數據
TestData = urllib.urlopen('http://www.baidu.com/').read()
print chardet.detect(TestData)

運行結果：
{'confidence': 0.99, 'encoding': 'GB2312'}

運行結果表示有99%的概率認為這段代碼是GB2312編碼方式。

 

另外一個相對高級的應用。

import urllib
from chardet.universaldetector import UniversalDetector
usock = urllib.urlopen('http://www.baidu.com/')
#創建一個檢測對象
detector = UniversalDetector()
for line in usock.readlines():
    #分塊進行測試，直到達到閾值
    detector.feed(line)
    if detector.done: break
#關閉檢測對象
detector.close()
usock.close()
#輸出檢測結果
print detector.result

運行結果：
{'confidence': 0.99, 'encoding': 'GB2312'}

 

應用背景，如果要對一個大文件進行編碼識別，使用這種高級的方法，可以只讀一部，去判別編碼方式從而提高檢測速