【python】獲取網頁中中文內容並分詞

# -*- coding: utf-8 -*-

import urllib2
import re
import time
import jieba


url="http://www.baidu.com"
html=urllib2.urlopen(url).read()
html=unicode(html,'utf-8')
word=re.findall(ur"[\u4e00-\u9fa5]+",html)

s=""
for w in word:
    s+=w
    
seg_list=jieba.cut(s,cut_all=False)
fenci="/ ".join(seg_list)
print 'get web-->',s
print 'div result-》',fenci
time.sleep(10)

其中使用了 urllib2 re jieba三個模塊 第一個模塊用於獲得網頁內容，第二個模塊用正則表達式提取中文字符 第三個模塊用於分詞

參考：

http://zhidao.baidu.com/link?url=4nU9JTj_GsObZExTum1jHRiwdDgEPnRl_oh7Msri3gfBxpH3LdUcaHCtR0wvWl0WCRCrcAlli62veGVl5pw-kK

http://www.cnblogs.com/mmix2009/p/3220427.html

【附】安裝python模塊將其下載后將對應的文件夾拷入python安裝目錄下的 Lib/site-packages/  下