原文：Python爬虫-代理池-爬取代理入库并测试代理可用性
目的：建立自己的代理池。可以添加新的代理网站爬虫，可以测试代理对某一网址的适用性，可以提供获取代理的 API。 整个流程：爬取代理 gt 将代理存入数据库并设置分数 gt 从数据库取出代理并检测 gt 根据响应结果对代理分数进行处理 gt 从 API 取出高分代理 gt 用高分代理爬取目标网站 分析： 爬虫类的编写：负责抓取代理并返回。 因为不同的代理网站的网页结构不同，所以需要单独为每一个代理网 ...
2019-05-27 21:13 2 761 推荐指数：
相关推荐
python爬虫之反爬虫（随机user-agent，获取代理ip，检测代理ip可用性） 目录 随机User-Agent 获取代理ip 检测代理ip可用性 随机User-Agent fake_useragent库，伪装请求头 from ...
...
要写爬虫爬取大量的数据，就会面临ip被封的问题，虽然可以通过设置延时的方法来延缓对网站的访问，但是一旦访问次数过多仍然会面临ip被封的风险，这时我们就需要用到动态的ip地址来隐藏真实的ip信息，如果做爬虫项目，建议选取一些平台提供的动态ip服务，引用api即可。目前国内有很多提供动态ip的平台 ...
https://www.linuxyw.com/806.html ...