背景 写爬虫的时候总会遇到爬取速度过快而被封IP的情况，这个时候就需要使用代理了。在https://github.com/henson/ProxyPool 的启发下，决定自己实现一个代理池。项目已经 ...

1. 爬取模块说明 爬取模块篇，主要从网上找到一些免费代理网站，网站内仅开放的一点免费代理抓取下来，爬取下来能用的代理可谓稀少，假设从一个代理网站首页爬取20个免费代理，经过测试后剩下1、2个可用， ...

前言 上篇文章吧啦吧啦讲了一些有的没的，现在还是回到主题写点技术相关的。本篇文章作为基础爬虫知识的最后一篇，将以爬虫程序的模块设计来完结。 在我漫(liang)长(nian)的爬虫开发生涯中，我通 ...