scrapy-yield scrapy.Request()不執行、失效、Filtered offsite request to錯誤 [轉]

scrapy錯誤：yield scrapy.Request()不執行、失效、Filtered offsite request to錯誤。首先我們在Request（）方法里面添加這么一個東東：

yield Request(url, callback=self.parse_item, dont_filter=True)

如果發現成功執行，那你就得檢查一下你的：allowed_domains，看看前面是不是添加了：http://  ，如（錯誤寫法）：

 allowed_domains = ["http://www.baidu.com"]

正確寫法：

allowed_domains = ["www.baidu.com"]

去掉之后，把dont_filter=True也去掉，也能正常執行，其實這里是allowed_domains和去重出現了沖突，scrapy allowed_domains判斷不嚴謹產生的問題，所以書寫allowed_domains的時候一定不要加：http://

有疑問，請scrapy中文網留言呦！