Python網絡爬蟲筆記（二）：鏈接爬蟲和下載限速

（一）代碼1（link_crawler()和get_links()實現鏈接爬蟲）

import urllib.request as ure
import re
import urllib.parse
from delayed import WaitFor
#下載網頁並返回HTML(動態加載的部分下載不了)
def download(url,user_agent='Socrates',num=2):
    print('下載:'+url)
    #設置用戶代理
    headers = {'user_agent':user_agent}
    request = ure.Request(url,headers=headers)
    try:
        #下載網頁
        html = ure.urlopen(request).read()
    except ure.URLError as e:
        print('下載失敗'+e.reason)
        html=None
        if num>0:
            #遇到5XX錯誤時，遞歸調用自身重試下載，最多重復2次
            if hasattr(e,'code') and 500<=e.code<600:
                return download(url,num-1)
    return html
#seed_url傳入一個url
#link_regex傳入一個正則表達式
#函數功能：提取和link_regex匹配的所有網頁鏈接並下載
def link_crawler(seed_url, link_regex):
    html = download(seed_url)
    crawl_queue = []
    #迭代get_links（）返回的列表，將匹配正則表達式link_regex的鏈接添加到列表中
    for link in get_links(html):
        if re.match(link_regex, link):
            #拼接https://www.cnblogs.com/ 和 /cate/...
            link = urllib.parse.urljoin(seed_url, link)
            #不在列表中才添加
            if link not in crawl_queue:
                crawl_queue.append(link)
    #調用WaitFor的wait（）函數，下載限速，間隔小於2秒則等待，直到時間等於2秒才繼續下載（大於則直接繼續下載）
    waitFor = WaitFor(2)
    #下載crawl_queue中的所有網頁
    while crawl_queue:
        #刪除列表末尾的數據
        url = crawl_queue.pop()
        waitFor.wait(url)
        download(url)
#傳入html對象，以列表形式返回所有鏈接
def get_links(html):
    #使用正則表達式提取html中所有網頁鏈接
    webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    html = html.decode('utf-8')
    # 以列表形式返回所有網頁鏈接
    return webpage_regex.findall(html)

link_crawler('https://www.cnblogs.com/','/cate/.*')

（二）delayed.py（實現下載限速的類）

import urllib.parse
import datetime
import time
class WaitFor():

    def __init__(self,delay):
        #delay：希望延遲多長時間（wait（）中的處理是以秒為單位）
        self.delay = delay
        #用來存放上次下載時間
        self.domains = dict()

    def wait(self,url):
        #獲取url netloc屬性的值（即www.cnblogs.com，// 和第一個 /之間的內容）
        domain = urllib.parse.urlparse(url).netloc
        #存在鍵值為domain的數據返回value值，否則返回None
        last_down = self.domains.get(domain)
        if self.delay >0 and last_down is not None:
            #  希望延遲時間 - （當前時間-上次下載時間），seconds時間間隔以秒為單位顯示
            sleep_sec = self.delay-(datetime.datetime.now()-last_down).seconds
            if sleep_sec > 0:
                time.sleep(sleep_sec)
        #將當前時間添加到domains中
        self.domains[domain] = datetime.datetime.now()