scrapy異常狀態碼處理
在setting.py中加入
# 403狀態的響應不被自動忽略,對403 的響應做個性化處理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到錯誤忽略掉不重新請求,則設成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]
在setting.py中加入
# 403狀態的響應不被自動忽略,對403 的響應做個性化處理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到錯誤忽略掉不重新請求,則設成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。