簡介
先簡略介紹一下。實際上，HTMLParser是python用來解析HTML的內置模塊。它可以分析出HTML里面的標簽、數據等等，是一種處理HTML的簡便途徑。HTMLParser采用的是一種事件驅動的模式，當HTMLParser找到一個特定的標記時，它會去調用一個用戶定義的函數，以此來通知程序處理。它主要的用戶回調函數的命名都是以"handle_"開頭的，都是HTMLParser的成員函數。當我們使用時，就從HTMLParser派生出新的類，然后重新定義這幾個以"handle_"開頭的函數即可。這幾個函數包括：
（1）handle_startendtag 處理開始標簽和結束標簽（即單標簽）
（2）handle_starttag 處理開始標簽，比如<xx>
（3）handle_endtag 處理結束標簽，比如</xx>
（4）handle_charref 處理特殊字符串，就是以&#開頭的，一般是內碼表示的字符
（5）handle_entityref 處理一些特殊字符，以&開頭的，比如
（6）handle_data 處理數據，就是<xx>data</xx>中間的那些數據
（7）handle_comment 處理注釋
（8）handle_decl 處理<!開頭的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
（9）handle_pi 處理形如<?instruction>的東西
實例
OK，廢話少說，直接上手，來一個簡單的爬蟲實例——抓取貼吧圖片。
1 from html.parser import HTMLParser 2 from urllib import request 3 4 5 class MyHTMLParser(HTMLParser): # 創建HTML解析類 6 def __init__(self): 7 HTMLParser.__init__(self) 8 self.gifs_urls = [] # 創建列表，保存gif 9 self.jpgs_urls = [] # 創建列表，保存jpg 10 11 # 重寫HTMLParser中的內置方法 12 def handle_starttag(self, tags, attrs): # 處理起始標記 13 if tags == 'img': # 處理圖片 14 for attr in attrs: 15 for t in attr: 16 if 'gif' in t and 'https' in t: 17 self.gifs_urls.append(t) # 添加到gif列表 18 elif 'jpg' in t and 'https' in t: 19 self.jpgs_urls.append(t) # 添加到jpg列表 20 else: 21 pass 22 # 自定義的方法 23 def get_gifs(self): # 返回gif列表 24 return self.gifs_urls 25 26 def get_jpgs(self): # 返回jpg列表 27 return self.jpgs_urls 28 29 # 自定義的方法，獲取頁面 30 def getHTML(self,url): 31 req=request.Request(url,method='GET') 32 html=request.urlopen(req,timeout=30) 33 return html.read() 34 35 # 自定義的方法，批量下載圖片 36 def downImgs(self,img_urls,n=10,path='Image/'): 37 count=1 38 for url in img_urls: 39 request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg')) 40 count=count+1 41 if count == n + 1: 42 print('共下載%d張圖片' %(n)) 43 return 44 45 if __name__ == '__main__': 46 47 Url = 'http://tieba.baidu.com/p/2256306796' 48 HtmlParser=MyHTMLParser() 49 Html=HtmlParser.getHTML(Url) 50 # print(Html) 51 HtmlParser.feed(str(Html)) #開始解析HTML，自動調用HTMLParser中的內置方法 52 HtmlParser.downImgs(HtmlParser.get_jpgs())
至此，轉載請注明出處。
