打算法比赛有点累，比赛之余写点小项目来提升一下工程能力、顺便陶冶一下情操 本来是想买一个服务器写个博客或者是弄个什么翻墙的东西 最后刷知乎看到有一个很有意思的项目，就是维护一个「高可用低延迟的高匿IP代理池」 于是就想自己把这个项目写一次，其中有些更改，有些没有实现 （数据结构作业要写广义表，写 ...

可能在学习爬虫的时候，遇到很多的反爬的手段，封ip 就是其中之一。 对于封IP的网站。需要很多的代理IP，去买代理IP，对于初学者觉得没有必要，每个卖代理IP的网站有的提供了免费IP，可是又很少，写了个IP代理池 。学习应该就够了 ip代理池 ...

一、了解cookie和session 　　1.1 无状态的http协议： 　　 　　- 如上图所示，HTTP协议 是无状态的协议，用户浏览服务器上的内容，只需要发送页面请求，服务器返回内容。对于 ...

一、为什么需要建立爬虫代理ip池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制的，在某段时间内，当某个ip的访问量达到一定的阀值时，该ip会被拉黑、在一段时间内被禁止访问。 这种时候，可以通过降低爬虫的频率，或者更改ip来应对。后者就需要 ...

　　前言 　　我们之前的爬虫都是模拟成浏览器后直接爬取，并没有动态设置IP代理以及UserAgent标识，这样很容易被服务器封IP，因此需要设置IP代理，但又不想花钱买，网上有免费IP代理，但大多都数都是不可用，而且不稳定，所以需要自行抓取、校验 　　本文记录免费IP代理池定时维护，封装 ...

一 下载Scrapy的下载中间件 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 下载中间件的作用： （1）引擎请求传递给下载器的过程中，下载中间件可以对请求进行一系列处理。比如：设置User-Agent,设置代理 ...