scrapy中使用 IP 代理

在 scrapy 中使用 ip 代理需要借助中间件的功能

首先在settings 中设置好中间件，中间件优先级数字越小越先被执行

'DOWNLOADER_MIDDLEWARES':{      
         'spider.spider.middlewares.ProxyMiddleWare':542,   
         'spider.spider.middlewares.SelenuimDownloaderMiddleware':543     
   }
 

然后编写中间件，拦截请求设置代理

class ProxyMiddleWare(object):
    
    def process_request(self, request, spider):
        
        """ 对 request 加上proxy"""
        proxy = RedisClient().pop_proxy().decode('utf-8')
        print('---------this is request ip ----------:'+ proxy)
        request.meta['proxy'] = proxy


    def process_response(self, request, response, spider):
        
        """ 对返回的 response 处理"""

        # 如果返回的 response 状态不是 200， 重新生成当前的 request对象
        if response.status != 200:
            proxy = RedisClient().pop_proxy().decode('utf-8')
            print('this is response ip:'+ proxy)
            # 对当前 request 加上代理
            return request

        return response