六、Scrapy中Download Middleware的用法

本文轉載自：

https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/downloader-middleware.html

https://doc.scrapy.org/en/latest/topics/downloader-middleware.html

 

下載器中間件是介於Scrapy的request/response處理的鈎子框架。 是用於全局修改Scrapy request和response的一個輕量、底層的系統。

1、激活下載器中間件

要激活下載器中間件組件，將其加入到 DOWNLOADER_MIDDLEWARES 設置中。 該設置是一個字典(dict)，鍵為中間件類的路徑，值為其中間件的順序(order)。
這里是一個例子:
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

DOWNLOADER_MIDDLEWARES 設置會與Scrapy定義的 DOWNLOADER_MIDDLEWARES_BASE 設置合並(但不是覆蓋)，
而后根據順序(order)進行排序，最后得到啟用中間件的有序列表: 第一個中間件是最靠近引擎的，最后一個中間件是最靠近下載器的

如果您想禁止內置的(在 DOWNLOADER_MIDDLEWARES_BASE 中設置並默認啟用的)中間件， 您必須在項目的 DOWNLOADER_MIDDLEWARES 設置中定義該中間件，並將其值賦為 None 。 例如，如果您想要關閉user-agent中間件:
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}

 

>scrapy settings --get=DOWNLOADER_MIDDLEWARES_BASE
{
    "scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware": 100,
    "scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware": 300,
    "scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware": 350,
    "scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware": 400,
    "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": 500,
    "scrapy.downloadermiddlewares.retry.RetryMiddleware": 550,
    "scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware": 560,
    "scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware": 580,
    "scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware": 590,
    "scrapy.downloadermiddlewares.redirect.RedirectMiddleware": 600,
    "scrapy.downloadermiddlewares.cookies.CookiesMiddleware": 700,
    "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 750,
    "scrapy.downloadermiddlewares.stats.DownloaderStats": 850,
    "scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware": 900
}

2、編寫您自己的下載器中間件
編寫下載器中間件十分簡單。每個中間件組件是一個定義了以下一個或多個方法的Python類:
class scrapy.contrib.downloadermiddleware.DownloaderMiddleware

process_request(request, spider)
    當每個request通過下載中間件時，該方法被調用。
    process_request() 必須返回其中之一: 返回 None 、返回一個 Response 對象、返回一個 Request 對象或raise IgnoreRequest 。
    如果其返回 None ，Scrapy將繼續處理該request，執行其他的中間件的相應方法，直到合適的下載器處理函數(download handler)被調用， 該request被執行(其response被下載)。
    如果其返回 Response 對象，Scrapy將不會調用 任何 其他的 process_request() 或 process_exception() 方法，或相應地下載函數； 其將返回該response。 已安裝的中間件的 process_response() 方法則會在每個response返回時被調用。
    如果其返回 Request 對象，Scrapy則停止調用 process_request方法並重新調度返回的request。當新返回的request被執行后， 相應地中間件鏈將會根據下載的response被調用。
    如果其raise一個 IgnoreRequest 異常，則安裝的下載中間件的 process_exception() 方法會被調用。如果沒有任何一個方法處理該異常， 則request的errback(Request.errback)方法會被調用。如果沒有代碼處理拋出的異常， 則該異常被忽略且不記錄(不同於其他異常那樣)。
    參數:    
        request (Request 對象) – 處理的request
        spider (Spider 對象) – 該request對應的spider

process_response(request, response, spider)
    process_request() 必須返回以下之一: 返回一個 Response 對象、 返回一個 Request 對象或raise一個 IgnoreRequest 異常。
    如果其返回一個 Response (可以與傳入的response相同，也可以是全新的對象)， 該response會被在鏈中的其他中間件的 process_response() 方法處理。
    如果其返回一個 Request 對象，則中間件鏈停止， 返回的request會被重新調度下載。處理類似於 process_request() 返回request所做的那樣。
    如果其拋出一個 IgnoreRequest 異常，則調用request的errback(Request.errback)。 如果沒有代碼處理拋出的異常，則該異常被忽略且不記錄(不同於其他異常那樣)。
    參數:    
        request (Request 對象) – response所對應的request
        response (Response 對象) – 被處理的response
        spider (Spider 對象) – response所對應的spider

process_exception(request, exception, spider)
    當下載處理器(download handler)或 process_request() (下載中間件)拋出異常(包括 IgnoreRequest 異常)時， Scrapy調用 process_exception() 。
    process_exception() 應該返回以下之一: 返回 None 、 一個 Response 對象、或者一個 Request 對象。
    如果其返回 None ，Scrapy將會繼續處理該異常，接着調用已安裝的其他中間件的 process_exception() 方法，直到所有中間件都被調用完畢，則調用默認的異常處理。
    如果其返回一個 Response 對象，則已安裝的中間件鏈的 process_response() 方法被調用。Scrapy將不會調用任何其他中間件的 process_exception() 方法。
    如果其返回一個 Request 對象， 則返回的request將會被重新調用下載。這將停止中間件的 process_exception() 方法執行，就如返回一個response的那樣。
    參數:    
        request (是 Request 對象) – 產生異常的request
        exception (Exception 對象) – 拋出的異常
        spider (Spider 對象) – request對應的spider

3、內置下載中間件參考手冊

1.CookiesMiddleware
class scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware

該中間件使得爬取需要cookie(例如使用session)的網站成為了可能。
其追蹤了web server發送的cookie，並在之后的request中發送回去， 就如瀏覽器所做的那樣。
以下設置可以用來配置cookie中間件:
    COOKIES_ENABLED
    COOKIES_DEBUG
    
2.單spider多cookie session
Scrapy通過使用 cookiejar Request meta key來支持單spider追蹤多cookie session。
默認情況下其使用一個cookie jar(session)，不過您可以傳遞一個標示符來使用多個。

例如:
for i, url in enumerate(urls):
    yield scrapy.Request("http://www.example.com", meta={'cookiejar': i},
        callback=self.parse_page)

需要注意的是 cookiejar meta key不是”黏性的(sticky)”。 您需要在之后的request請求中接着傳遞。例如:
def parse_page(self, response):
    # do some processing
    return scrapy.Request("http://www.example.com/otherpage",
        meta={'cookiejar': response.meta['cookiejar']},
        callback=self.parse_other_page)

3.COOKIES_ENABLED
默認: True
是否啟用cookies middleware。如果關閉，cookies將不會發送給web server。

4.COOKIES_DEBUG
默認: False
如果啟用，Scrapy將記錄所有在request(Cookie 請求頭)發送的cookies及response接收到的cookies(Set-Cookie 接收頭)。

5.DefaultHeadersMiddleware
class scrapy.contrib.downloadermiddleware.defaultheaders.DefaultHeadersMiddleware
該中間件設置 DEFAULT_REQUEST_HEADERS 指定的默認request header。

6.DownloadTimeoutMiddleware
class scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware
    該中間件設置 DOWNLOAD_TIMEOUT 或 spider的 download_timeout 屬性指定的request下載超時時間.
注解：
您也可以使用 download_timeout Request.meta key 來對每個請求設置下載超時時間. 這種方式在 DownloadTimeoutMiddleware 被關閉時仍然有效.

7.HttpAuthMiddleware
class scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware

    該中間件完成某些使用 Basic access authentication (或者叫HTTP認證)的spider生成的請求的認證過程。
    在spider中啟用HTTP認證，請設置spider的 http_user 及 http_pass 屬性。
    樣例:

    from scrapy.contrib.spiders import CrawlSpider

    class SomeIntranetSiteSpider(CrawlSpider):

        http_user = 'someuser'
        http_pass = 'somepass'
        name = 'intranet.example.com'

        # .. rest of the spider code omitted ...