RETRY_ENABLED = True #打開重試開關
RETRY_TIMES = 3 #重試次數
DOWNLOAD_TIMEOUT = 3 #超時
RETRY_HTTP_CODES = [429,404,403] #重試
HTTPERROR_ALLOWED_CODES = [429] #上面報的是403，就把403加入。
yield scrapy.Request(url=url, cookies=self.cookies, callback=self.parse, dont_filter=True) #去掉過濾重復的設置（如果有重復的url請求，scrapy就會過濾掉這個請求，把這個設置打開就行了）