这是简易数据分析系列的第 7 篇文章。 在第 4 篇文章里,我讲解了如何抓取单个网页里的单类信息; 在第 5 篇文章里,我讲解了如何抓取多个网页里的单类信息; 今天我们要讲的是,如何抓取多个网页里的多类信息。 这次的抓取是在简易数据分析 05的基础上进行的,所以我们一开始就解决了抓取 ...
这是简易数据分析系列的第 篇文章。 今天我们说说 Web Scraper 的一些小功能:自动控制 Web Scraper 抓取数量和 Web Scraper 的父子选择器。 如何只抓取前 条数据 如果跟着上篇教程一步一步做下来,你会发现这个爬虫会一直运作,根本停不下来。网页有 条数据,他就会抓取 条,有 W 条,就会抓取 W 条。如果我们的需求很小,只想抓取前 条怎么办 如果你手动关闭抓取数据的 ...
2019-08-07 08:40 0 3947 推荐指数:
这是简易数据分析系列的第 7 篇文章。 在第 4 篇文章里,我讲解了如何抓取单个网页里的单类信息; 在第 5 篇文章里,我讲解了如何抓取多个网页里的单类信息; 今天我们要讲的是,如何抓取多个网页里的多类信息。 这次的抓取是在简易数据分析 05的基础上进行的,所以我们一开始就解决了抓取 ...
这是简易数据分析系列的第 15 篇文章。 年末事情比较忙,很久不更新了,后台一直有读者催更,我看了一些读者给我的私信,发现一些通用的问题,所以单独写篇文章,介绍一些 Web Scraper 的进阶用法。 今天我们就来学习一些 CSS 选择器的知识,辅助 Web Scraper 更好的定位 ...
这是简易数据分析系列的第 5 篇文章。 上篇文章我们爬取了豆瓣电影 TOP250 前 25 个电影的数据,今天我们就要在原来的 Web Scraper 配置上做一些小改动,让爬虫把 250 条电影数据全部爬取下来。 前面我们同时说了,爬虫的本质就是找规律,当初这些程序员设计网页时,肯定会 ...
这是简易数据分析系列的第 12 篇文章。 前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法,比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。 本来想解释一下啥叫分页器,翻了一堆定义觉得很繁琐 ...
这是简易数据分析系列的第 6 篇文章。 上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据,内容都太干了,今天我们说些轻松的,讲讲 Web Scraper 如何导出导入 Sitemap 文件。 前面也没有说,SItemap 是个什么东西,其实它就 ...
这是简易数据分析系列的第 10 篇文章。 友情提示:这一篇文章的内容较多,信息量比较大,希望大家学习的时候多看几遍。 我们在刷朋友圈刷微博的时候,总会强调一个『刷』字,因为看动态的时候,当把内容拉到屏幕末尾的时候,APP 就会自动加载下一页的数据,从体验上来看,数据会源源不断的加载 ...
这是简易数据分析系列的第 11 篇文章。 今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下,网页里的经典表格是怎么构成的。 First Name 所在的行比较特殊,是一个表格的表头,表示信息分类 2-5 行是表格的主体,展示分类内容 经典表格就这些知识点,没了 ...
这是简易数据分析系列的第 13 篇文章。 在前面的课程里,我们抓取的数据都是在同一个层级下的内容,探讨的问题主要是如何应对市面上的各种分页类型,但对于详情页内容数据如何抓取,却一直没有介绍。 比如说我们想抓取 b 站的动画区 TOP 排行榜的数据: https ...