python 模塊 chardet下載及介紹

 

在處理字符串時，常常會遇到不知道字符串是何種編碼，如果不知道字符串的編碼就不能將字符串轉換成需要的編碼。面對多種不同編碼的輸入方式，是否會有一種有效的編碼方式？chardet是一個非常優秀的編碼識別模塊。

chardet 是python的第三方庫，需要下載和安裝。下載的地址有：

 

1.推薦地址：  http://download.csdn.net/download/aqwd2008/4256178 

2.官方地址：  http://pypi.python.org/pypi/chardet

如果采用源代碼安裝方法，有可能會提示缺少setuptools這個模塊。因此這里我們采用另外一種更為方便的安裝方法，不論你選擇哪種安裝包，將它解壓得到其中的文件夾【chardet】將這個文件夾復制到【python安裝根目錄\Lib\site-packages】下，確保這個位置可以被python引用到。如果不能被引用到請加入環境變量。

 

在安裝完chardet模塊，我就可以使用它了，來看一段示例代碼。

[python]  view plaincopy

 

import chardet  
import urllib  
  
#可根據需要，選擇不同的數據  
TestData = urllib.urlopen('http://www.baidu.com/').read()  
print chardet.detect(TestData)  
  
運行結果：  
{'confidence': 0.99, 'encoding': 'GB2312'}  

運行結果表示有99%的概率認為這段代碼是GB2312編碼方式。

 

另外一個相對高級的應用。

[python]  view plaincopy

 

import urllib  
from chardet.universaldetector import UniversalDetector  
usock = urllib.urlopen('http://www.baidu.com/')  
#創建一個檢測對象  
detector = UniversalDetector()  
for line in usock.readlines():  
    #分塊進行測試，直到達到閾值  
    detector.feed(line)  
    if detector.done: break  
#關閉檢測對象  
detector.close()  
usock.close()  
#輸出檢測結果  
print detector.result  
  
運行結果：  
{'confidence': 0.99, 'encoding': 'GB2312'}  

 

應用背景，如果要對一個大文件進行編碼識別，使用這種高級的方法，可以只讀一部，去判別編碼方式從而提高檢測速

 

 

來源：http://blog.csdn.net/tianzhu123/article/details/8187470/