返回码418，scrapy 重新请求

问题情景： scrapy爬取网页，返回值418（按照请求来说，是一个完整的网络请求）。说明此接口已经被后台爬虫检测程序检测到了。 通过研读scrapy文档，在自定义的418检测下载中间件里面，process_response中检测返回值，并设置request的http/https代理 ...