關於[scrapy] DEBUG:Filtered duplicate request: (dont_filter=True)

[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown

不會顯示更多重復項,

其實這個的問題是,CrawlSpider結合LinkExtractor\Rule,在提取鏈接與發鏈接的時候,出現了重復的連接,重復的請求,出現這個DEBUG

或者是yield scrapy.Request(xxxurl,callback=self.xxxx)中有重復的請求

其實scrapy自身是默認有過濾重復請求的

讓這個DEBUG不出現,可以有 dont_filter=True,在Request中添加可以解決

yield scrapy.Request(xxxurl,callback=self.xxxx,dont_filter=True)

 

來源於:https://blog.csdn.net/sinat_41701878/article/details/80302357