这是简易数据分析系列的第 篇文章。 年末事情比较忙，很久不更新了，后台一直有读者催更，我看了一些读者给我的私信，发现一些通用的问题，所以单独写篇文章，介绍一些 Web Scraper 的进阶用法。 今天我们就来学习一些 CSS 选择器的知识，辅助 Web Scraper 更好的定位要选择的元素。 一 定位 HTML 节点 HTML 是什么 它是一个网页的骨架，是最最基础的东西。比如说你现在看的这 ...
2019-12-30 21:16 1 4477 推荐指数：
这是简易数据分析系列的第 9 篇文章。 今天我们说说 Web Scraper 的一些小功能：自动控制 Web Scraper 抓取数量和 Web Scraper 的父子选择器。 如何只抓取前 100 条数据？ 如果跟着上篇教程一步一步做下来，你会发现这个爬虫会一直运作，根本停不下来。网页 ...
这是简易数据分析系列的第 14 篇文章。 今天我们还来聊聊 Web Scraper 翻页的技巧。 这次的更新是受一位读者启发的，他当时想用 Web scraper 爬取一个分页器分页的网页，却发现我之前介绍的分页器翻页方法不管用。我研究了一下才发现我漏讲了一种很常见的翻页场景 ...
这是简易数据分析系列的第 18 篇文章。 2020-10-14 日更新： Web Scraper 在 0.5.1 版本后，为了后续的版本迭代，准备迁移数据库，所以对新用户关闭了 CouchDB 开关。 这个改动意味着，如果你是老用户并且通过 Google 应用商店更新了 Web ...
这是简易数据分析系列的第 12 篇文章。 前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法，比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。 本来想解释一下啥叫分页器，翻了一堆定义觉得很繁琐 ...
这是简易数据分析系列的第 7 篇文章。 在第 4 篇文章里，我讲解了如何抓取单个网页里的单类信息； 在第 5 篇文章里，我讲解了如何抓取多个网页里的单类信息； 今天我们要讲的是，如何抓取多个网页里的多类信息。 这次的抓取是在简易数据分析 05的基础上进行的，所以我们一开始就解决了抓取 ...
这是简易数据分析系列的第 6 篇文章。 上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据，内容都太干了，今天我们说些轻松的，讲讲 Web Scraper 如何导出导入 Sitemap 文件。 前面也没有说，SItemap 是个什么东西，其实它就 ...
这是简易数据分析系列的第 5 篇文章。 上篇文章我们爬取了豆瓣电影 TOP250 前 25 个电影的数据，今天我们就要在原来的 Web Scraper 配置上做一些小改动，让爬虫把 250 条电影数据全部爬取下来。 前面我们同时说了，爬虫的本质就是找规律，当初这些程序员设计网页时，肯定会 ...
这是简易数据分析系列的第 11 篇文章。 今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。 First Name 所在的行比较特殊，是一个表格的表头，表示信息分类 2-5 行是表格的主体，展示分类内容 经典表格就这些知识点，没了 ...
