scrapy异常状态码处理
在setting.py中加入
# 403状态的响应不被自动忽略，对403 的响应做个性化处理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到错误忽略掉不重新请求，则设成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]scrapy异常状态码处理
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。