Web Scraper 高级用法——抓取属性信息 | 简易数据分析 16
这是简易数据分析系列的第 16 篇文章。 这期课程我们讲一个用的较少的 Web Scraper 功能——抓取属性信息。 网页在展示信息的时候，除了我们看到的内容，其实还有很多隐藏的信息。我们拿豆瓣电影250举个例子： 电影图片正常显示的时候是这个样子： 如果网络异常，图片加载失败 ...
原文：Web Scraper 高级用法——利用正则表达式筛选文本信息 | 简易数据分析 17
这是简易数据分析系列的第 篇文章。 学习了这么多课，我想大家已经发现了，web scraper 主要是用来爬取文本信息的。 在爬取的过程中，我们经常会遇到一个问题：网页上的数据比较脏，我们只需要里面的一部分信息。比如说要抓取 电影的评价人数，网页中抓到的原始数据是 人评价，但是我们期望只抓取数字，把 人评价 这三个汉字丢掉。 这种类似的操作在 Excel 可以利用公式等工具处理，其实在 web ...
2020-03-18 11:32 0 4236 推荐指数：
相关推荐
Web Scraper 高级用法——Web Scraper 抓取多条内容 | 简易数据分析 07
这是简易数据分析系列的第 7 篇文章。 在第 4 篇文章里，我讲解了如何抓取单个网页里的单类信息； 在第 5 篇文章里，我讲解了如何抓取多个网页里的单类信息； 今天我们要讲的是，如何抓取多个网页里的多类信息。 这次的抓取是在简易数据分析 05的基础上进行的，所以我们一开始就解决了抓取 ...
Web Scraper 高级用法——如何导入别人已经写好的 Web Scraper 爬虫 | 简易数据分析 06
这是简易数据分析系列的第 6 篇文章。 上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据，内容都太干了，今天我们说些轻松的，讲讲 Web Scraper 如何导出导入 Sitemap 文件。 前面也没有说，SItemap 是个什么东西，其实它就 ...
python-用正则表达式筛选文本信息
【摘要】 本文主要介绍如何对多个文本进行读取，并采用正则表达式对其中的信息进行筛选，将筛选出来的信息存写到一个新文本。 打开文件：open(‘文件名’，‘打开方式’)>>>file=open(r'C:\Users\yuanlei\Desktop\mytxt.txt ...
Web Scraper 高级用法——使用 CouchDB 存储数据 | 简易数据分析 18
这是简易数据分析系列的第 18 篇文章。 2020-10-14 日更新： Web Scraper 在 0.5.1 版本后，为了后续的版本迭代，准备迁移数据库，所以对新用户关闭了 CouchDB 开关。 这个改动意味着，如果你是老用户并且通过 Google 应用商店更新了 Web ...
Web Scraper 翻页——控制链接批量抓取数据（Web Scraper 高级用法）| 简易数据分析 05
这是简易数据分析系列的第 5 篇文章。 上篇文章我们爬取了豆瓣电影 TOP250 前 25 个电影的数据，今天我们就要在原来的 Web Scraper 配置上做一些小改动，让爬虫把 250 条电影数据全部爬取下来。 前面我们同时说了，爬虫的本质就是找规律，当初这些程序员设计网页时，肯定会 ...
Web Scraper 高级用法——抓取表格数据 | 简易数据分析 11
这是简易数据分析系列的第 11 篇文章。 今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。 First Name 所在的行比较特殊，是一个表格的表头，表示信息分类 2-5 行是表格的主体，展示分类内容 经典表格就这些知识点，没了 ...
Web Scraper 高级用法——抓取二级网面 | 简易数据分析 13
这是简易数据分析系列的第 13 篇文章。 在前面的课程里，我们抓取的数据都是在同一个层级下的内容，探讨的问题主要是如何应对市面上的各种分页类型，但对于详情页内容数据如何抓取，却一直没有介绍。 比如说我们想抓取 b 站的动画区 TOP 排行榜的数据： https ...