Python 爬虫从入门到进阶之路（三）
之前的文章我们做了一个简单的例子爬取了百度首页的 html，本篇文章我们再来看一下 Get 和 Post 请求。 在说 Get 和 Post 请求之前，我们先来看一下 url 的编码和解码，我们在浏 ...
原文：Python 爬虫从入门到进阶之路（十七）
在之前的文章中我们介绍了 scrapy 框架并给予 scrapy 框架写了一个爬虫来爬取 糗事百科 的糗事，本章我们继续说一下 scrapy 框架并对之前的糗百爬虫做一下优化和丰富。 在上一篇文章中，我们在项目中创建了一个 qiushiSpider.py 的文件，代码如下： 在上面的代码中我们定义了一个 QiubaiSpider 的类，并且集成了 scrapy.Spider，我们就对这个类做一下详 ...
2019-07-12 10:43 0 594 推荐指数：
相关推荐
Python 爬虫从入门到进阶之路（二）
上一篇文章我们对爬虫有了一个初步认识，本篇文章我们开始学习 Python 爬虫实例。 在 Python 中有很多库可以用来抓取网页，其中内置了 urllib 模块，该模块就能实现我们基本的网页爬取。 在 Python2.x 和 Python3.x 中 urllib 模块是不一样的，但是用法 ...
Python 爬虫从入门到进阶之路（四）
之前的文章我们做了一个简单的例子爬取了百度首页的 html，我们用到的是 urlopen 来打开请求，它是一个特殊的opener（也就是模块帮我们构建好的）。但是基本的 urlopen() 方法不支持代理、cookie等其他的HTTP/HTTPS高级功能，所以我们需要用到 Python ...
Python 爬虫从入门到进阶之路（五）
在之前的文章中我们带入了 opener 方法，接下来我们看一下 opener 应用中的 ProxyHandler 处理器（代理设置）。 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像 ...
Python 爬虫从入门到进阶之路（六）
在之前的文章中我们介绍了一下 opener 应用中的 ProxyHandler 处理器（代理设置），本篇文章我们再来看一下 opener 中的 Cookie 的使用。 Cookie 是指某些网站服务 ...
Python 爬虫从入门到进阶之路（七）
在之前的文章中我们一直用到的库是 urllib.request，该库已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Python ...
Python 爬虫从入门到进阶之路（八）
在之前的文章中我们介绍了一下 requests 模块，今天我们再来看一下 Python 爬虫中的正则表达的使用和 re 模块。 实际上爬虫一共就四个主要步骤： 明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据 ...
Python 爬虫从入门到进阶之路（九）
之前的文章我们介绍了一下 Python 中的正则表达式和与爬虫正则相关的 re 模块，本章我们就利用正则表达式和 re 模块来做一个案例，爬取《糗事百科》的糗事并存储到本地。 我们要爬取的网站链接是 https://www.qiushibaike.com/text/page ...