scrapy異常狀態碼處理


scrapy異常狀態碼處理

在setting.py中加入

# 403狀態的響應不被自動忽略,對403 的響應做個性化處理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到錯誤忽略掉不重新請求,則設成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM