關於[scrapy] DEBUG:Filtered duplicate request:

scrapy框架默認是有去重（重復的請求直接忽略掉）設置的，就是如果多個請求完全相同，那么就會報錯“Filtered duplicate request    no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)”，代表兩次請求完全相同，那么第二次請求就會被scrapy過濾掉。如果在項目中要求多次請求完全相同，那么需要在后面的請求里面加參數dont_filter=True”,即

request = scrapy.FormRequest(url=url, formdata=data_url, callback=self.get_parse,dont_filter=True)

　　通過這個參數來關閉scrapy自動過濾功能。