Python 爬蟲從入門到進階之路（十八）

在之前的文章我們通過 scrapy 框架 及 scrapy.Spider 類做了一個《糗事百科》的糗百爬蟲，本章我們再來看一下相較於 scrapy.Spider 類更為強大的 CrawlSpider 類。

CrawlSpider 是Spider的派生類，Spider 類的設計原則是只爬取start_url列表中的網頁，而 CrawlSpider 類定義了一些規則 (rule) 來提供跟進link的方便的機制，從爬取的網頁中獲取link並繼續爬取的工作更適合。

源碼參考

class CrawlSpider(Spider):
    rules = ()
    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()

    #首先調用parse()來處理start_urls中返回的response對象
    #parse()則將這些response對象傳遞給了_parse_response()函數處理，並設置回調函數為parse_start_url()
    #設置了跟進標志位True
    #parse將返回item和跟進了的Request對象    
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

    #處理start_url中返回的response，需要重寫
    def parse_start_url(self, response):
        return []

    def process_results(self, response, results):
        return results

    #從response中抽取符合任一用戶定義'規則'的鏈接，並構造成Resquest對象返回
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取之內的所有鏈接，只要通過任意一個'規則'，即表示合法
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            #使用用戶指定的process_links處理每個連接
            if links and rule.process_links:
                links = rule.process_links(links)
            #將鏈接加入seen集合，為每個鏈接生成Request對象，並設置回調函數為_repsonse_downloaded()
            for link in links:
                seen.add(link)
                #構造Request對象，並將Rule規則中定義的回調函數作為這個Request對象的回調函數
                r = Request(url=link.url, callback=self._response_downloaded)
                r.meta.update(rule=n, link_text=link.text)
                #對每個Request調用process_request()函數。該函數默認為indentify，即不做任何處理，直接返回該Request.
                yield rule.process_request(r)

    #處理通過rule提取出的連接，並返回item以及request
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)

    #解析response對象，會用callback解析處理他，並返回request或Item對象
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #首先判斷是否設置了回調函數。（該回調函數可能是rule中的解析函數，也可能是 parse_start_url函數）
        #如果設置了回調函數（parse_start_url()），那么首先用parse_start_url()處理response對象，
        #然后再交給process_results處理。返回cb_res的一個列表
        if callback:
            #如果是parse調用的，則會解析成Request對象
            #如果是rule callback，則會解析成Item
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item

        #如果需要跟進，那么使用定義的Rule規則提取並返回這些Request對象
        if follow and self._follow_links:
            #返回每個Request對象
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item

    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, basestring):
                return getattr(self, method, None)

        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)

    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承於Spider類，除了繼承過來的屬性外（name、allow_domains），還提供了新的屬性和方法:

LinkExtractors

 from scrapy.linkextractors import LinkExtractor 

Link Extractors 的目的很簡單: 提取鏈接｡

每個LinkExtractor有唯一的公共方法是 extract_links()，它接收一個 Response 對象，並返回一個 scrapy.link.Link 對象。

Link Extractors要實例化一次，並且 extract_links 方法會根據不同的 response 調用多次提取鏈接｡

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數：

• allow：滿足括號中“正則表達式”的值會被提取，如果為空，則全部匹配。

• deny：與這個正則表達式(或正則表達式列表)不匹配的URL一定不提取。

• allow_domains：會被提取的鏈接的domains。

• deny_domains：一定不會被提取鏈接的domains。

• restrict_xpaths：使用xpath表達式，和allow共同作用過濾鏈接。

rules

在rules中包含一個或多個Rule對象，每個Rule對爬取網站的動作定義了特定操作。如果多個rule匹配了相同的鏈接，則根據規則在本集合中被定義的順序，第一個會被使用。

class scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

• link_extractor：是一個Link Extractor對象，用於定義需要提取的鏈接。

• callback： 從link_extractor中每獲取到鏈接時，參數所指定的值作為回調函數，該回調函數接受一個response作為其第一個參數。

  注意：當編寫爬蟲規則時，避免使用parse作為回調函數。由於CrawlSpider使用parse方法來實現其邏輯，如果覆蓋了 parse方法，crawl spider將會運行失敗。

• follow：是一個布爾(boolean)值，指定了根據該規則從response提取的鏈接是否需要跟進。 如果callback為None，follow 默認設置為True ，否則默認為False。

• process_links：指定該spider中哪個的函數將會被調用，從link_extractor中獲取到鏈接列表時將會調用該函數。該方法主要用來過濾。

• process_request：指定該spider中哪個的函數將會被調用， 該規則提取到每個request時都會調用該函數。 (用來過濾request)

 

接下來我們就按上面所說的內容將之前的糗百爬蟲做一下修改，我們將 qiubaiSpider.py 的代碼改為如下：

import scrapy
# 導入CrawlSpider類和Rule
from scrapy.spiders import CrawlSpider, Rule
# 導入鏈接規則匹配類，用來提取符合規則的連接
from scrapy.linkextractors import LinkExtractor
from ..items import QiushiItem


class QiushiSpider(CrawlSpider):
    # 爬蟲名
    name = "qiubai"
    # 允許爬蟲作用的范圍，不能越界
    allowd_domains = ["https://www.qiushibaike.com/"]
    # 爬蟲起始url
    start_urls = ["https://www.qiushibaike.com/text/page/1/"]
    # Response 里鏈接的提取規則，返回的符合匹配規則的鏈接匹配對象的列表
    pageLink = LinkExtractor(allow=("/page/\d+"))
    # 獲取這個列表里的鏈接，依次發送請求，並且繼續跟進，調用指定回調函數處理
    rules = [
        Rule(pageLink, callback="parseContent", follow=True)
    ]

    # 指定的回調函數
    def parseContent(self, response):
        # 通過 scrayy 自帶的 xpath 匹配想要的信息
        qiushi_list = response.xpath('//div[contains(@id,"qiushi_tag")]')
        for site in qiushi_list:
            # 實例化從 items.py 導入的 QiushiItem 類
            item = QiushiItem()
            # 根據查詢發現匿名用戶和非匿名用戶的標簽不一樣
            try:
                # 非匿名用戶
                username = site.xpath('./div/a/img/@alt')[0].extract()  # 作者
                imgUrl = site.xpath('./div/a/img/@src')[0].extract()  # 頭像
            except Exception:
                # 匿名用戶
                username = site.xpath('./div/span/img/@alt')[0].extract()  # 作者
                imgUrl = site.xpath('./div/span/img/@src')[0].extract()  # 頭像
            content = site.xpath('.//div[@class="content"]/span[1]/text()').extract()
            item['username'] = username
            item['imgUrl'] = "https:" + imgUrl
            item['content'] = content

            # 將獲取的數據交給 pipeline 管道文件
            yield item

在控制台或終端輸入  scrapy crawl qiubai  即可運行程序並獲取糗百數據。

需要注意的是在 rule 規則中的 callback 千萬不能寫 parse，因為 CrawlSpider 使用 parse 方法來實現其邏輯，如果覆蓋了 parse方法，crawl spider將會運行失敗。