python爬蟲入門（八）Scrapy框架之CrawlSpider類

CrawlSpider類

通過下面的命令可以快速創建 CrawlSpider模板 的代碼：

scrapy genspider -t crawl tencent tencent.com

CrawSpider是Spider的派生類，Spider類的設計原則是只爬取start_url列表中的網頁，而CrawlSpider類定義了一些規則(rule)來提供跟進link的方便的機制，從爬取的網頁中獲取link並繼續爬取的工作更適合。

CrawSpider源碼詳細解析

class CrawlSpider(Spider):
    rules = ()
    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()

    #首先調用parse()來處理start_urls中返回的response對象
    #parse()則將這些response對象傳遞給了_parse_response()函數處理，並設置回調函數為parse_start_url()
    #設置了跟進標志位True
    #parse將返回item和跟進了的Request對象    
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

    #處理start_url中返回的response，需要重寫
    def parse_start_url(self, response):
        return []

    def process_results(self, response, results):
        return results

    #從response中抽取符合任一用戶定義'規則'的鏈接，並構造成Resquest對象返回
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取之內的所有鏈接，只要通過任意一個'規則'，即表示合法
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            #使用用戶指定的process_links處理每個連接
            if links and rule.process_links:
                links = rule.process_links(links)
            #將鏈接加入seen集合，為每個鏈接生成Request對象，並設置回調函數為_repsonse_downloaded()
            for link in links:
                seen.add(link)
                #構造Request對象，並將Rule規則中定義的回調函數作為這個Request對象的回調函數
                r = Request(url=link.url, callback=self._response_downloaded)
                r.meta.update(rule=n, link_text=link.text)
                #對每個Request調用process_request()函數。該函數默認為indentify，即不做任何處理，直接返回該Request.
                yield rule.process_request(r)

    #處理通過rule提取出的連接，並返回item以及request
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)

    #解析response對象，會用callback解析處理他，並返回request或Item對象
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #首先判斷是否設置了回調函數。（該回調函數可能是rule中的解析函數，也可能是 parse_start_url函數）
        #如果設置了回調函數（parse_start_url()），那么首先用parse_start_url()處理response對象，
        #然后再交給process_results處理。返回cb_res的一個列表
        if callback:
            #如果是parse調用的，則會解析成Request對象
            #如果是rule callback，則會解析成Item
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item

        #如果需要跟進，那么使用定義的Rule規則提取並返回這些Request對象
        if follow and self._follow_links:
            #返回每個Request對象
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item

    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, basestring):
                return getattr(self, method, None)

        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)

    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承於Spider類，除了繼承過來的屬性外（name、allow_domains），還提供了新的屬性和方法:

LinkExtractors

Link Extractors 的目的很簡單: 提取鏈接｡

每個LinkExtractor有唯一的公共方法是 extract_links()，它接收一個 Response 對象，並返回一個 scrapy.link.Link 對象。

Link Extractors要實例化一次，並且 extract_links 方法會根據不同的 response 調用多次提取鏈接｡

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數：

• allow：滿足括號中“正則表達式”的值會被提取，如果為空，則全部匹配。

• deny：與這個正則表達式(或正則表達式列表)不匹配的URL一定不提取。

• allow_domains：會被提取的鏈接的domains。

• deny_domains：一定不會被提取鏈接的domains。

• restrict_xpaths：使用xpath表達式，和allow共同作用過濾鏈接

rules

在rules中包含一個或多個Rule對象，每個Rule對爬取網站的動作定義了特定操作。如果多個rule匹配了相同的鏈接，則根據規則在本集合中被定義的順序，第一個會被使用。

class scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

主要參數:

• link_extractor：是一個Link Extractor對象，用於定義需要提取的鏈接。

• callback： 從link_extractor中每獲取到鏈接時，參數所指定的值作為回調函數，該回調函數接受一個response作為其第一個參數。

  注意：當編寫爬蟲規則時，避免使用parse作為回調函數。由於CrawlSpider使用parse方法來實現其邏輯，如果覆蓋了 parse方法，crawl spider將會運行失敗。

• follow：是一個布爾(boolean)值，指定了根據該規則從response提取的鏈接是否需要跟進。 如果callback為None，follow 默認設置為True ，否則默認為False。

• process_links：指定該spider中哪個的函數將會被調用，從link_extractor中獲取到鏈接列表時將會調用該函數。該方法主要用來過濾。

• process_request：指定該spider中哪個的函數將會被調用， 該規則提取到每個request時都會調用該函數。 (用來過濾request)

 CrawlSpider 版本寫騰訊職位招聘

# -*- coding: utf-8 -*-

import scrapy

class TencentItem(scrapy.Item):
    # define the fields for your item here like:
    # 職位名
    positionname = scrapy.Field()
    # 詳情連接
    positionlink = scrapy.Field()
    # 職位類別
    positionType = scrapy.Field()
    # 招聘人數
    peopleNum = scrapy.Field()
    # 工作地點
    workLocation = scrapy.Field()
    # 發布時間
    publishTime = scrapy.Field()

# -*- coding: utf-8 -*-

import json

class TencentPipeline(object):
    def __init__(self):
        self.filename = open("tencent.json", "w")

    def process_item(self, item, spider):
        text = json.dumps(dict(item), ensure_ascii = False) + ",\n"
        self.filename.write(text.encode("utf-8"))
        return item

    def close_spider(self, spider):
        self.filename.close()

tencent.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import scrapy
# 導入CrawlSpider類和Rule
from scrapy.spiders import CrawlSpider, Rule
# 導入鏈接規則匹配類，用來提取符合規則的連接
from scrapy.linkextractors import LinkExtractor
from TencentSpider.items import TencentItem

class TencentSpider(CrawlSpider):
    name = "tencent"
    allow_domains = ["hr.tencent.com"]
    start_urls = ["http://hr.tencent.com/position.php?&start=0#a"]

    # Response里鏈接的提取規則，返回的符合匹配規則的鏈接匹配對象的列表
    pagelink = LinkExtractor(allow=("start=\d+"))

    rules = [
        # 獲取這個列表里的鏈接，依次發送請求，並且繼續跟進，調用指定回調函數處理
        Rule(pagelink, callback = "parseTencent", follow = True)
    ]

    # 指定的回調函數
    def parseTencent(self, response):
        for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):
            item = TencentItem()
            # 職位名稱
            item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]
            # 詳情連接
            item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]
            # 職位類別
            item['positionType'] = each.xpath("./td[2]/text()").extract()[0]
            # 招聘人數
            item['peopleNum'] =  each.xpath("./td[3]/text()").extract()[0]
            # 工作地點
            item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]
            # 發布時間
            item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]

            yield item

settings.py可以設置保存日志

通過在setting.py中進行以下設置可以被用來配置logging:

LOG_ENABLED 默認: True，啟用logging
LOG_ENCODING 默認: 'utf-8'，logging使用的編碼
LOG_FILE 默認: None，在當前目錄里創建logging輸出文件的文件名
LOG_LEVEL 默認: 'DEBUG'，log的最低級別
LOG_STDOUT 默認: False 如果為 True，進程所有的標准輸出(及錯誤)將會被重定向到log中。例如，執行 print "hello" ，其將會在Scrapy log中顯示。

Scrapy提供5層logging級別:

CRITICAL - 嚴重錯誤(critical)

ERROR - 一般錯誤(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 調試信息(debugging messages)

# 保存日志信息的文件名
LOG_FILE = "tencentlog.log"
# 保存日志等級，低於|等於此等級的信息都被保存
LOG_LEVEL = "DEBUG"

 案例實戰

爬取問政平台 “http://wz.sun0769.com/index.php/question/questionType?type=4&page=”  投訴信息

每頁的帖子

帖子里面的內容

===《《《我們要爬取的是所有頁的全部帖子的投訴主題、編號和內容===》》》

分別用Spider類和CrawlSpiders類兩種方法實現

# -*- coding: utf-8 -*-

import scrapy


class NewdongguanItem(scrapy.Item):
    # define the fields for your item here like:
    # 標題
    title = scrapy.Field()
    # 編號
    number = scrapy.Field()
    # 內容
    content = scrapy.Field()
    # 鏈接
    url = scrapy.Field()

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from newdongguan.items import NewdongguanItem


class DongdongSpider(CrawlSpider):
    name = 'dongdong'
    allowed_domains = ['wz.sun0769.com']
    start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=']

    # 每一頁的匹配規則
    pagelink = LinkExtractor(allow=("type=4"))
    # 每一頁里的每個帖子的匹配規則
    contentlink = LinkExtractor(allow=(r"/html/question/\d+/\d+.shtml"))

    rules = (
        # 本案例的url被web服務器篡改，需要調用process_links來處理提取出來的url
        Rule(pagelink, process_links = "deal_links"),
        Rule(contentlink, callback = "parse_item")
    )

    # links 是當前response里提取出來的鏈接列表
    def deal_links(self, links):
        for each in links:
            each.url = each.url.replace("?","&").replace("Type&","Type?")
        return links

    def parse_item(self, response):
        item = NewdongguanItem()
        # 標題
        item['title'] = response.xpath('//div[contains(@class, "pagecenter p3")]//strong/text()').extract()[0]
        # 編號
        item['number'] = item['title'].split(' ')[-1].split(":")[-1]
        # 內容，先使用有圖片情況下的匹配規則，如果有內容，返回所有內容的列表集合
        content = response.xpath('//div[@class="contentext"]/text()').extract()
        # 如果沒有內容，則返回空列表，則使用無圖片情況下的匹配規則
        if len(content) == 0:
            content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()
            item['content'] = "".join(content).strip()
        else:
            item['content'] = "".join(content).strip()
        # 鏈接
        item['url'] = response.url

        yield item

# -*- coding: utf-8 -*-

import codecs
import json

class NewdongguanPipeline(object):
    def __init__(self):
        # 創建一個文件
        self.filename = codecs.open("donggguan.json", "w", encoding = "utf-8")

    def process_item(self, item, spider):
        # 中文默認使用ascii碼來存儲，禁用后默認為Unicode字符串
        content = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.filename.write(content)
        return item

    def close_spider(self, spider):
        self.filename.close()

 用Spider類寫的方法

# -*- coding: utf-8 -*-
import scrapy
from newdongguan.items import NewdongguanItem


class DongdongSpider(scrapy.Spider):
    name = 'xixi'
    allowed_domains = ['wz.sun0769.com']
    url = 'http://wz.sun0769.com/index.php/question/questionType?type=4&page='
    offset = 0
    start_urls = [url + str(offset)]


    def parse(self, response):
        # 每一頁里的所有帖子的鏈接集合
        links = response.xpath('//div[@class="greyframe"]/table//td/a[@class="news14"]/@href').extract()
        # 迭代取出集合里的鏈接
        for link in links:
            # 提取列表里每個帖子的鏈接，發送請求放到請求隊列里,並調用self.parse_item來處理
            yield scrapy.Request(link, callback = self.parse_item)

        # 頁面終止條件成立前，會一直自增offset的值，並發送新的頁面請求，調用parse方法處理
        if self.offset <= 71160:
            self.offset += 30
            # 發送請求放到請求隊列里，調用self.parse處理response
            yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

    # 處理每個帖子的response內容
    def parse_item(self, response):
        item = NewdongguanItem()
        # 標題
        item['title'] = response.xpath('//div[contains(@class, "pagecenter p3")]//strong/text()').extract()[0]
        # 編號
        item['number'] = item['title'].split(' ')[-1].split(":")[-1]
        # 內容，先使用有圖片情況下的匹配規則，如果有內容，返回所有內容的列表集合
        content = response.xpath('//div[@class="contentext"]/text()').extract()
        # 如果沒有內容，則返回空列表，則使用無圖片情況下的匹配規則
        if len(content) == 0:
            content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()
            item['content'] = "".join(content).strip()
        else:
            item['content'] = "".join(content).strip()
        # 鏈接
        item['url'] = response.url

        # 交給管道
        yield item

爬取的結果：