python網頁抓取之英漢字典

  linux的字典本人實在用起來不舒服（stardict挺不錯的，但是界面好看些，功能簡單易用就好了）

，在線翻譯又得打開龐大的瀏覽器....就打算自己寫個，但是時間有限，為了簡單，

還是用python抓取網頁來的快些。本人用的必應字典。

http://cn.bing.com/dict/?mkt=zh-CN&setlang=ZH

獲取某個單詞解釋url是：

http://cn.bing.com/dict/search?q=word&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH

其中的紅色word即是要翻譯“word”單詞。

代碼如下dic.py：python使用的是2.7.5版本

#!/usr/bin/python                 
import urllib2,sys
from HTMLParser import HTMLParser
from htmlentitydefs import name2codepoint

class MyHTMLParser(HTMLParser): #解析html
    def  __init__(self):
        HTMLParser.__init__(self)
        self.t=False
        self.trans=[]
        self.pr=False
    def handle_starttag(self, tag, attrs):
        if tag=='div':
            for attr in attrs:
                if attr==('class','hd_prUS') or \
                 attr==('class','hd_pr'):
                    self.pr=True
        if tag=='span':                       
            for attr in attrs:
                if attr==('class','def'):
                    self.t=True
    def handle_data(self, data):
        if self.t:
            self.trans.append(data)
            self.t=False
        if self.pr:
            print data
            self.pr=False
    def getTrans(self):
        return self.trans
class trans:
    _URL='http://cn.bing.com/dict/search'
    def __init__(self):
        self.url=trans._URL+"?q=%s&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH"
        self.html=None
    def getHtml(self,word):  #獲取單詞翻譯的網頁
        self.url=self.url %word
        print word," :"
        req = urllib2.Request(self.url)
        fd=urllib2.urlopen(req)
        self.html=fd.read()
        self.html=unicode(self.html,'utf-8')
        fd.close()
    
    def parseHtml(self):  #解析調用
        parser = MyHTMLParser()
        self.html=parser.unescape(self.html)
        parser.feed(self.html)
        s=parser.getTrans()
        t=1
        for i in s:
            print t,'. ',i
            t+=1

if __name__=='__main__':
        t=trans()
        t.getHtml(sys.argv[1])
        t.parseHtml()
        

終端操作：

05:07@:~/workspace$ ./dic.py action                                                                                                                                                                                                  
action  :                                                                                                                                                                                                                            
美 [ˈækʃ(ə)n]                                                                                                                                                                                                                         
英 [ˈækʃ(ə)n]                                                                                                                                                                                                                         
1 .  行動；行為；訴訟；戰斗                                                                                                                                                                                                                     
2 .  務必做                                                                                                                                                                                                                             
3 .  動作；操作；作用

終端用起來也不甚方便，有時間把代碼搬進圖形程序中.....pyQt還是kivy等圖形庫，

用過pyQt，抽時間看看吧。

本人的注釋是寫博客后來加上去的，可以直接刪了，或者添加# -*- coding: utf-8 -*-

　　對於html的解析另一個不錯的模塊庫是BeautifulSoup，解析相當給力。但是需要自己安裝

這個庫。和上面代碼功能一樣，但是使用BeautifulSoup解析的。代碼如下：

#!/usr/bin/python                 
import urllib2,sys
from BeautifulSoup import BeautifulSoup
class MyHTMLParser:
    def __init__(self):
        self.trans=[]
        self.us=None
        self.uk=None
        self.define=True
    def feed(self,html):
        parsed_html=BeautifulSoup(html)
        self.us=parsed_html.find('div',{'class':'hd_prUS'}).text
        self.uk=parsed_html.find('div',{'class':'hd_pr'}).text
        self.us=self.us.replace(' ',' ')
        self.uk=self.uk.replace(' ',' ')
        print self.us,',',self.uk       
        self.define=parsed_html.findAll('span',{'class':'def'})
        for t in self.define:
            self.trans.append(t.text)
    def getTrans(self):
        return self.trans
class trans:
    _URL='http://cn.bing.com/dict/search'
    def __init__(self):
        self.url=trans._URL+"?q=%s&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH"
        self.html=None
    def getHtml(self,word):  
        self.url=self.url %word
        print word," :"
        req = urllib2.Request(self.url)
        fd=urllib2.urlopen(req)
        self.html=fd.read()
        fd.close()
    
    def parseHtml(self):  
        parser = MyHTMLParser()
        parser.feed(self.html)
        s=parser.getTrans()
        t=1
        for i in s:
            print t,'. ',i
            t+=1

if __name__=='__main__':
        t=trans()
        t.getHtml(sys.argv[1])
        t.parseHtml()