在scrapy中使用代理時，我們不能保證每個代理都可用，難免出現代理ip錯誤的情況，如果代理ip出現錯誤設置一個請求超時和重新發送這個鏈接
在yield scrapy.Request時候加上一個參數：
meta={'download_timeout': 10}
代表請求超時為10秒
然后在settings中設置如下：
RETRY_ENABLED = True
RETRY_TIMES = 5
保存即可
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。