Scrapy學習篇（十）之下載器中間件（Downloader Middleware）

下載器中間件是介於Scrapy的request/response處理的鈎子框架，是用於全局修改Scrapy request和response的一個輕量、底層的系統。

激活Downloader Middleware

要激活下載器中間件組件，將其加入到 DOWNLOADER_MIDDLEWARES 設置中。 該設置是一個字典(dict)，鍵為中間件類的路徑，值為其中間件的順序(order)。像下面這樣

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

DOWNLOADER_MIDDLEWARES 設置會與Scrapy定義的 DOWNLOADER_MIDDLEWARES_BASE 設置合並(但不是覆蓋)， 而后根據順序(order)進行排序，最后得到啟用中間件的有序列表: 第一個中間件是最靠近引擎的，最后一個中間件是最靠近下載器的。

關於如何分配中間件的順序請查看 Scrapy學習篇（八）之settings里面的Scrapy默認BASE設置 ，而后根據你想要放置中間件的位置選擇一個值。 由於每個中間件執行不同的動作，你的中間件可能會依賴於之前(或者之后)執行的中間件，因此順序是很重要的。

如果你想禁止內置的(在 DOWNLOADER_MIDDLEWARES_BASE 中設置並默認啟用的)中間件， 你必須在項目的 DOWNLOADER_MIDDLEWARES 設置中定義該中間件，並將其值賦為 None 。 例如，如果您想要關閉user-agent中間件:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

自定義Downloader Middleware

如果你想自定義一個屬於你的下載器中間件，只需要編寫一個下載器中間件類，繼承自scrapy.downloadermiddlewares.DownloaderMiddleware,而后在里面重寫以下的幾個方法。

• process_request(request, spider)

  當每個request通過下載中間件時，該方法被調用。

  process_request() 必須返回其中之一: 返回 None 、返回一個 Response 對象、返回一個 Request 對象或raise IgnoreRequest 。

  • 如果其返回 None ，Scrapy將繼續處理該request，執行其他的中間件的相應方法，直到合適的下載器處理函數(download handler)被調用， 該request被執行(其response被下載)。

  • 如果其返回 Response 對象，Scrapy將不會調用 任何 其他的 process_request() 或 process_exception() 方法，或相應地下載函數； 其將返回該response。 已安裝的中間件的 process_response() 方法則會在每個response返回時被調用。

  • 如果其返回 Request 對象，Scrapy則停止調用 process_request方法並重新調度返回的request。當新返回的request被執行后， 相應地中間件鏈將會根據下載的response被調用。

  • 如果其raise一個 IgnoreRequest 異常，則安裝的下載中間件的 process_exception() 方法會被調用。如果沒有任何一個方法處理該異常， 則request的errback(Request.errback)方法會被調用。如果沒有代碼處理拋出的異常， 則該異常被忽略且不記錄(不同於其他異常那樣)。

  參數:
  request(Request 對象)–處理的request
  spider(Spider 對象)–該request對應的spider

• process_response(request, response, spider)

  process_request() 必須返回以下之一: 返回一個 Response 對象、 返回一個 Request 對象或raise一個 IgnoreRequest 異常。

  • 如果其返回一個 Response (可以與傳入的response相同，也可以是全新的對象)， 該response會被在鏈中的其他中間件的 process_response() 方法處理。
  • 如果其返回一個 Request 對象，則中間件鏈停止， 返回的request會被重新調度下載。處理類似於 process_request() 返回request所做的那樣。
  • 如果其拋出一個 IgnoreRequest 異常，則調用request的errback(Request.errback)。 如果沒有代碼處理拋出的異常，則該異常被忽略且不記錄(不同於其他異常那樣)。

  參數:
  request (Request 對象) – response所對應的request
  response (Response 對象) – 被處理的response
  spider (Spider 對象) – response所對應的spider

• process_exception(request, exception, spider)

  當下載處理器(download handler)或 process_request() (下載中間件)拋出異常(包括IgnoreRequest異常)時，Scrapy調用 process_exception() 。

  process_exception() 應該返回以下之一: 返回 None 、 一個 Response 對象、或者一個 Request 對象。

  • 如果其返回 None ，Scrapy將會繼續處理該異常，接着調用已安裝的其他中間件的 process_exception() 方法，直到所有中間件都被調用完畢，則調用默認的異常處理。
  • 如果其返回一個 Response 對象，則已安裝的中間件鏈的 process_response() 方法被調用。Scrapy將不會調用任何其他中間件的 process_exception() 方法。
  • 如果其返回一個 Request 對象， 則返回的request將會被重新調用下載。這將停止中間件的 process_exception() 方法執行，就如返回一個response的那樣。

  參數:
  request (是 Request 對象) – 產生異常的request
  exception (Exception 對象) – 拋出的異常
  spider (Spider 對象) – request對應的spider

內置Downloader Middleware介紹

• CookiesMiddleware

  該中間件使得爬取需要cookie(例如使用session)的網站成為了可能。 其追蹤了web server發送的cookie，並在之后的request中發送回去， 就如瀏覽器所做的那樣。

  以下設置可以用來配置cookie中間件:
  COOKIES_ENABLED默認為True
  COOKIES_DEBUG默認為False

  Scrapy通過使用 cookiejar Request meta key來支持單spider追蹤多cookie session。 默認情況下其使用一個cookie jar(session)，不過我們可以傳遞一個標示符來使用多個。
  比如：

  for i, url in enumerate(urls):
      yield scrapy.Request("http://www.example.com", meta={'cookiejar': i},
          callback=self.parse_page)
  

  需要注意的是 cookiejar meta key不是”黏性的(sticky)”。 我們需要在之后的request請求中接着傳遞。
  比如：

  def parse_page(self, response):
      # do some processing
      return scrapy.Request("http://www.example.com/otherpage",
          meta={'cookiejar': response.meta['cookiejar']},
          callback=self.parse_other_page)
  

• DefaultHeadersMiddleware

  該中間件設置 DEFAULT_REQUEST_HEADERS 指定的默認request header。

• DownloadTimeoutMiddleware

  該中間件設置 DOWNLOAD_TIMEOUT 指定的request下載超時時間.

• HttpAuthMiddleware

  該中間件完成某些使用 Basic access authentication (或者叫HTTP認證)的spider生成的請求的認證過程。

• HttpCacheMiddleware

  該中間件為所有HTTP request及response提供了底層(low-level)緩存支持。 其由cache存儲后端及cache策略組成。

• HttpCompressionMiddleware

  該中間件提供了對壓縮(gzip, deflate)數據的支持

• ChunkedTransferMiddleware

  該中間件添加了對 chunked transfer encoding 的支持。

• HttpProxyMiddleware

  該中間件提供了對request設置HTTP代理的支持。您可以通過在 Request 對象中設置 proxy 元數據來開啟代理。

• RedirectMiddleware

  該中間件根據response的狀態處理重定向的request。通過該中間件的(被重定向的)request的url可以通過 Request.meta 的 redirect_urls 鍵找到。

• MetaRefreshMiddleware

  該中間件根據meta-refresh html標簽處理request重定向。

• RetryMiddleware

  該中間件將重試可能由於臨時的問題，例如連接超時或者HTTP 500錯誤導致失敗的頁面。
  爬取進程會收集失敗的頁面並在最后，spider爬取完所有正常(不失敗)的頁面后重新調度。 一旦沒有更多需要重試的失敗頁面，該中間件將會發送一個信號(retry_complete)， 其他插件可以監聽該信號。

• RobotsTxtMiddleware

  該中間件過濾所有robots.txt eclusion standard中禁止的request。
  確認該中間件及 ROBOTSTXT_OBEY 設置被啟用以確保Scrapy尊重robots.txt。

• UserAgentMiddleware

  用於覆蓋spider的默認user agent的中間件。
  要使得spider能覆蓋默認的user agent，其 user_agent 屬性必須被設置。

• AjaxCrawlMiddleware

  根據meta-fragment html標簽查找 ‘AJAX可爬取’ 頁面的中間件。