手把手教你写网络爬虫（2） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 介绍 大家好！回顾上一期，我们在介绍了爬虫的基本概念之后，就利用各种工具横冲直撞的完成了一个小爬虫，目的就是猛、糙 ...

手把手教你写网络爬虫（6） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 下面是一个超级计算机的排行榜，如果我们能拥有其中任意一个，那么我们就不需要搞什么分布式系统。可是我们买不起，即使买得起 ...

手把手教你写网络爬虫（3） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 介绍 大家好！我们从今天开始学习开源爬虫框架Scrapy，如果你看过《手把手》系列的前两篇，那么今天的内容就非常容易 ...

把之前发表在微信公众号的爬虫系列文章迁移过来，热热身，就当备份了。 本来还有一些内容想写的，比如headless chrome、okhttp、netty和文本相似度算法等等，不过最近精力不在爬虫上面，以后等因缘成熟再把这个系列写完。 手把手教你写网络爬虫（1） 作者：拓海 ...

手把手教你写网络爬虫（8） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 字符编解码是爬虫里必学的一项知识，在我们的爬虫生涯中早晚会爬到乱码的网页，与其遇到时惊慌失措，不如早学早好，彻底避免乱码 ...

手把手教你写网络爬虫（4） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 上期我们理性的分析了为什么要学习Scrapy，理由只有一个，那就是免费，一分钱都不用花！ 咦？怎么有人扔 ...

手把手教你写网络爬虫（7） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 本期我们来聊聊URL去重那些事儿。以前我们曾使用Python的字典来保存抓取过的URL，目的是将重复抓取的URL去除，避免 ...

手把手教你写网络爬虫（5） 作者：拓海 (https://github.com/tuohai666) 摘要：从零开始写爬虫，初学者的速成指南！ 封面： 大家好！从今天开始，我要与大家一起打造一个属于我们自己的分布式爬虫平台，同时也会对涉及到的技术进行详细介绍。大家如果有 ...