写在前面 从今天开始的几篇文章，我将就国内目前比较主流的一些在线学习平台数据进行抓取，如果时间充足的情况下，会对他们进行一些简单的分析，好了，平台大概有51CTO学院，CSDN学院，网易云课堂，慕课网等平台，数据统一抓取到mongodb里面，如果对上述平台造成了困扰，请见 ...

1. CSDN学院课程数据-写在前面 今天又要抓取一个网站了，选择恐惧症使得我不知道该拿谁下手，找来找去，算了，还是抓取CSDN学院吧，CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址，课程数量也不是很多，大概有 6000+ 门课程，数据量 ...

写在前面 今天咱们抓取一下网易云课堂的课程数据，这个网站的数据量并不是很大，我们只需要使用requests就可以快速的抓取到这部分数据了。 你第一步要做的是打开全部课程的地址，找出爬虫规律， 地址如下： https://study.163.com/courses/ 我简单的看了一下，页面 ...

写在前面 美好的一天又开始了，今天咱继续爬取IT在线教育类网站，慕课网，这个平台的数据量并不是很多，所以爬取起来还是比较简单的 准备爬取 打开我们要爬取的页面，寻找分页点和查看是否是异步加载的 ...

验证码探究 如果你是一个数据挖掘爱好者，那么验证码是你避免不过去的一个天坑，和各种验证码斗争，必然是你成长的一条道路，接下来的几篇文章，我会尽量的找到各种验证码，并且去尝试解决掉它，中间有些技术甚至我都没有见过，来吧，一起Coding吧 数字+字母的验证码 我随便在百度图片搜索了一个验证码 ...

写在前面 很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天 ...

1. 高考派大学数据----写在前面 终于写到了scrapy爬虫框架了，这个框架可以说是python爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。 安装过程自己百度一下，就能找到3种以上的安装手法，哪一个都可以安装上 可以参考 https ...

1. B站博人传评论数据爬取简介 今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。网址： https://www.bilibili.com/bangumi/media/md5978 ...