Python網絡爬蟲筆記（一）：網頁抓取方式和LXML示例

（一）   三種網頁抓取方法

1、    正則表達式：

模塊使用C語言編寫，速度快，但是很脆弱，可能網頁更新后就不能用了。

2、    Beautiful Soup

模塊使用Python編寫，速度慢。

安裝：

pip install beautifulsoup4

3、    Lxml

模塊使用C語言編寫，即快速又健壯，通常應該是最好的選擇。

（二）   Lxml安裝

pip install lxml

如果使用lxml的css選擇器，還要安裝下面的模塊

pip install cssselect

（三）   使用lxml示例

import urllib.request as re
import lxml.html
#下載網頁並返回HTML
def download(url,user_agent='Socrates',num=2):
    print('下載:'+url)
    #設置用戶代理
    headers = {'user_agent':user_agent}
    request = re.Request(url,headers=headers)
    try:
        #下載網頁
        html = re.urlopen(request).read()
    except re.URLError as e:
        print('下載失敗'+e.reason)
        html=None
        if num>0:
            #遇到5XX錯誤時，遞歸調用自身重試下載，最多重復2次
            if hasattr(e,'code') and 500<=e.code<600:
                return download(url,num=num-1)
    return html
html = download('https://tieba.baidu.com/p/5475267611')
#將HTML解析為統一的格式
tree = lxml.html.fromstring(html)
# img = tree.cssselect('img.BDE_Image')
#通過lxml的xpath獲取src屬性的值，返回一個列表
img = tree.xpath('//img[@class="BDE_Image"]/@src')
x= 0
#迭代列表img,將圖片保存在當前目錄下
for i in img:
    re.urlretrieve(i,'%s.jpg'%x)
    x += 1