Python 爬虫从入门到进阶之路（三）
之前的文章我们做了一个简单的例子爬取了百度首页的 html，本篇文章我们再来看一下 Get 和 Post 请求。 在说 Get 和 Post 请求之前，我们先来看一下 url 的编码和解码，我们在浏 ...
原文：Python 爬虫从入门到进阶之路（十八）
在之前的文章我们通过 scrapy 框架 及 scrapy.Spider 类做了一个 糗事百科 的糗百爬虫，本章我们再来看一下相较于 scrapy.Spider 类更为强大的 CrawlSpider 类。 CrawlSpider 是Spider的派生类，Spider 类的设计原则是只爬取start url列表中的网页，而 CrawlSpider 类定义了一些规则 rule 来提供跟进link的方便 ...
2019-07-15 10:46 1 786 推荐指数：
相关推荐
Python 爬虫从入门到进阶之路（二）
上一篇文章我们对爬虫有了一个初步认识，本篇文章我们开始学习 Python 爬虫实例。 在 Python 中有很多库可以用来抓取网页，其中内置了 urllib 模块，该模块就能实现我们基本的网页爬取。 在 Python2.x 和 Python3.x 中 urllib 模块是不一样的，但是用法 ...
Python 爬虫从入门到进阶之路（一）
通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 通用搜索引擎（Search ...
Python 爬虫从入门到进阶之路（四）
之前的文章我们做了一个简单的例子爬取了百度首页的 html，我们用到的是 urlopen 来打开请求，它是一个特殊的opener（也就是模块帮我们构建好的）。但是基本的 urlopen() 方法不支持代理、cookie等其他的HTTP/HTTPS高级功能，所以我们需要用到 Python ...
Python 爬虫从入门到进阶之路（五）
在之前的文章中我们带入了 opener 方法，接下来我们看一下 opener 应用中的 ProxyHandler 处理器（代理设置）。 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像 ...
Python 爬虫从入门到进阶之路（六）
在之前的文章中我们介绍了一下 opener 应用中的 ProxyHandler 处理器（代理设置），本篇文章我们再来看一下 opener 中的 Cookie 的使用。 Cookie 是指某些网站服务 ...
Python 爬虫从入门到进阶之路（七）
在之前的文章中我们一直用到的库是 urllib.request，该库已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Python ...
Python 爬虫从入门到进阶之路（八）
在之前的文章中我们介绍了一下 requests 模块，今天我们再来看一下 Python 爬虫中的正则表达的使用和 re 模块。 实际上爬虫一共就四个主要步骤： 明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据 ...