这是简易数据分析系列的第 篇文章。 上篇文章我们爬取了豆瓣电影 TOP 前 个电影的数据，今天我们就要在原来的 Web Scraper 配置上做一些小改动，让爬虫把 条电影数据全部爬取下来。 前面我们同时说了，爬虫的本质就是找规律，当初这些程序员设计网页时，肯定会依循一些规则，当我们找到规律时，就可以预测他们的行为，达到我们的目的。 今天我们就找找豆瓣网站的规律，想办法抓取全部数据。今天的规律就 ...
2019-07-09 08:14 0 5944 推荐指数：
这是简易数据分析系列的第 12 篇文章。 前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法，比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。 本来想解释一下啥叫分页器，翻了一堆定义觉得很繁琐 ...
这是简易数据分析系列的第 10 篇文章。 友情提示：这一篇文章的内容较多，信息量比较大，希望大家学习的时候多看几遍。 我们在刷朋友圈刷微博的时候，总会强调一个『刷』字，因为看动态的时候，当把内容拉到屏幕末尾的时候，APP 就会自动加载下一页的数据，从体验上来看，数据会源源不断的加载 ...
这是简易数据分析系列的第 7 篇文章。 在第 4 篇文章里，我讲解了如何抓取单个网页里的单类信息； 在第 5 篇文章里，我讲解了如何抓取多个网页里的单类信息； 今天我们要讲的是，如何抓取多个网页里的多类信息。 这次的抓取是在简易数据分析 05的基础上进行的，所以我们一开始就解决了抓取 ...
这是简易数据分析系列的第 8 篇文章。 我们在Web Scraper 翻页——控制链接批量抓取数据一文中，介绍了控制网页链接批量抓取数据的办法。 但是你在预览一些网站时，会发现随着网页的下拉，你需要点击类似于「加载更多」的按钮去获取数据，而网页链接一直没有变化。 所以控制链接批量抓去数据 ...
这是简易数据分析系列的第 9 篇文章。 今天我们说说 Web Scraper 的一些小功能：自动控制 Web Scraper 抓取数量和 Web Scraper 的父子选择器。 如何只抓取前 100 条数据？ 如果跟着上篇教程一步一步做下来，你会发现这个爬虫会一直运作，根本停不下来。网页 ...
这是简易数据分析系列的第 6 篇文章。 上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据，内容都太干了，今天我们说些轻松的，讲讲 Web Scraper 如何导出导入 Sitemap 文件。 前面也没有说，SItemap 是个什么东西，其实它就 ...
这是简易数据分析系列的第 11 篇文章。 今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。 First Name 所在的行比较特殊，是一个表格的表头，表示信息分类 2-5 行是表格的主体，展示分类内容 经典表格就这些知识点，没了 ...
这是简易数据分析系列的第 16 篇文章。 这期课程我们讲一个用的较少的 Web Scraper 功能——抓取属性信息。 网页在展示信息的时候，除了我们看到的内容，其实还有很多隐藏的信息。我们拿豆瓣电影250举个例子： 电影图片正常显示的时候是这个样子： 如果网络异常，图片加载失败 ...
