目录 　　一、爬虫的步骤 　　二、使用Jupyter 　　三、爬虫请求模块之urllib 　　四、爬虫请求模块之requests 　　五、爬虫分析之re模块 一、爬虫的步骤 　　1.发起请求，模拟浏览器发送一个http请求 　　2.获取响应的内容 　　3.解析内容（解析 ...

一、urllib模块 python标准库自带的发送网络请求的模块。 二、requests模块 requests模块是基于urllib模块开发，用于发送http请求。 ...

urllib模块是python自带的，直接调用就好，用法如下： 　　相比较urllib模块，requests模块要简单很多，具体用法如下： 　　显而易见，requests模块要方便很多，建议大家使用 ...

例子： 参考：https://blog.csdn.net/pittpakk/article/details/81218566 Python3中urllib合并了Python2中的urllib和urllib2. 比如urllib ...

，结果当网站遇到404时会直接跳转推荐页，于是requests还能正常返回数据 解决方法: requests ...

re模块（正则） #re：一些带有特殊含义的符号或者符号的组合 #为什么要用re：一堆字符串中找到你所需要的内容,过滤规则是什么样，通过re模块功能来告诉计算机你的过滤规则 #应用：在爬虫中最为常用；使用爬虫时有其他模块可以导入帮助clear数据，正则也可用于其他方面 #原理：re模块 ...

实现原理及思路请参考我的另外几篇爬虫实践博客 py3+urllib+bs4+反爬，20+行代码教你爬取豆瓣妹子图：http://www.cnblogs.com/UncleYong/p/6892688.htmlpy3+requests+json+xlwt，爬取拉勾招聘信息：http ...

Python 给人的印象是抓取网页非常方便，提供这种生产力的，主要依靠的就是 urllib、requests这两个模块。 urlib 介绍 urllib.request 提供了一个 urlopen 函数，来实现获取页面。支持不同的协议、基本验证、cookie、代理等特性。 urllib 有两个 ...