Scrapy之start_urls、爬蟲中間件之深度，優先級以及源碼流程

start_urls內部原理　　

步驟

scrapy引擎來爬蟲中取起始的url:
    1.調用start_requests並獲取返回值
    2.v = iter(返回值)
    3.
        req1 = 執行v.__next__()
        req2 = 執行v.__next__()
        req3 = 執行v.__next__()
    4.全部放到調度器中        

編寫

class ChoutiSpider(scrapy.Spider):
name = 'chouti'
# 爬取定向的網頁 只允許這個域名的
allowed_domains = ['chouti.com']
start_urls = ['https://dig.chouti.com/']
cookie_dict = {}

    def start_requests(self):  9     # 方式1
    # for url in self.start_urls:
    # yield Request(url=url)
    # 方式2
    # req_list = []
    # for url in self.start_urls:
    #     req_list.append(Request(url=url))
    # return req_list
    pass

用到的知識

　　可迭代對象或者生成器直接iter方法變成迭代器，以后定制start_urls的時候可以自己直接發post請求，內置默認用的get方法，拿url也可以到緩存redis中拿。

源碼部分：

　　

 深度、優先級

源碼流程分析

結合我的這篇博文深度https://www.cnblogs.com/Alexephor/p/11437061.html

# -*- coding: utf-8 -*-
import scrapy
from wyb.items import WybItem
from scrapy.dupefilters import RFPDupeFilter
from scrapy.http.response.html import HtmlResponse
from scrapy.http.cookies import CookieJar
from urllib.parse import urlencode
from scrapy.http import Request


class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    # 爬取定向的網頁 只允許這個域名的
    allowed_domains = ['chouti.com']
    start_urls = ['https://dig.chouti.com/']

    def start_requests(self):
        import os 19 # 代理設置 downloadmiddleware中httppxoxy 20 os.environ['HTTP_PROXY'] = '1.1.1.2' 21 os.environ['HTTPS_PROXY'] = 'http://root:woshinizuzong@192.168.10.10:8888/'
        # 方式1
        for url in self.start_urls:
            yield Request(url=url)
        # 方式2
        # req_list = []
        # for url in self.start_urls:
        #     req_list.append(Request(url=url))
        # return req_list

    def parse(self, response):
        """
        第一次訪問響應response
        :param response:
        :return:
        """
        from scrapy.spidermiddlewares.depth import DepthMiddleware 38         from scrapy.http import Response
        # response.request
        # response.request.meta 此時None
41 print(response.meta.get('depth', 0)) 42 # response.request.meta['depth'] = 0

        page_list = response.xpath('//div[@id="dig_lcpage"]//a/@href').extract()
        for page in page_list:
            from scrapy.http import Request
            page = "https://dig.chouti.com"+page
            # 繼續發請求，回調函數parse
            yield Request(url=page, callback=self.parse, meta={"proxy": "http://root:woshinizuzong@192.168.10.10:8888/"})

 源碼看下

 

 

 

 

 

 總結：　　

　　- 深度 最開始是0每次在yield原來請求中的depth自加1
　   - 優先級 -= 深度*配置文件優先級默認0