一、爬虫的概念
模拟浏览器，发送请求，获取响应
网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
-
原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做
-
爬虫也只能获取客户端(浏览器)所展示出来的数据
二、爬虫的作用
爬虫在互联网世界中有很多的作用，比如：
-
-
-
- 网站上的投票
-
-
网络安全
三、爬虫的分类
3.1 根据被爬取网站的数量不同，可以分为：
-
通用爬虫，如 搜索引擎
-
聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据
3.2 根据是否以获取数据为目的，可以分为：
-
功能性爬虫，给你喜欢的明星投票、点赞
-
数据增量爬虫，比如招聘信息
3.3 根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为：
-
基于url地址变化、内容也随之变化的数据增量爬虫
-
url地址不变、内容变化的数据增量爬虫
四、爬虫的流程
-
-
向url发送请求，并获取响应（需要http协议）
-
如果从响应中提取url，则继续发送请求获取响应
-
五、http的复习
一提起http协议，大家都会想起它是一个应用层协议，那么http协议跟爬虫有什么关系呢？请看下图：
http以及https的概念和区别
HTTPS比HTTP更安全，但是性能要低一些
-
HTTP：超文本传输协议，默认端口号是80
-
超文本：是指超过文本，不仅限于文本；还包括图片、音频、视频等文件
-
传输协议：是指使用共用约定的固定格式来传递转换成字符串的超文本内容
-
-
HTTPS：HTTP + SSL(安全套接字层)，即带有安全套接字层的超本文传输协，默认端口号：443
-
SSL对传输的内容（超文本，也就是请求体或响应体）进行加密
-
-
可以打开浏览器访问一个url，右键检查，点击net work，点选一个url，查看http协议的形式
六、
-
http请求的形式如上图所示，爬虫特别关注以下几个请求头字段
-
Content-Type
-
Host (主机和端口号) 域名
-
Connection (链接类型) 长链接
-
Upgrade-Insecure-Requests (升级为HTTPS请求) 是否升级为https,1表示升级
-
User-Agent (浏览器名称) 用户代理,用户本机信息及浏览器信息
-
Referer (页面跳转处) 页面跳转处,防盗链(图片/视频)
-
Cookie (Cookie) 状态保持
-
Authorization(用于表示HTTP协议中需要认证资源的认证信息，如前边web课程中用于jwt认证)
加粗的请求头为常用请求头，在服务器被用来进行爬虫识别的频率最高，相较于其余的请求头更为重要，但是这里需要注意的是并不意味这其余的不重要，因为有的网站的运维或者开发人员可能剑走偏锋，会使用一些比较不常见的请求头来进行爬虫的甄别
-
-
http响应的形式如上图所示，爬虫只关注一个响应头字段
-
Set-Cookie （对方服务器设置cookie到用户浏览器的缓存）
-
七、常见的响应状态码
-
200：成功
-
302：跳转，新的url在响应的Location头中给出
-
303：浏览器对于POST的响应进行重定向至新的url
-
307：浏览器对于GET的响应重定向至新的url
-
403：资源不可用；服务器理解客户的请求，但拒绝处理它（没有权限）
-
404：找不到该页面
-
500：服务器内部错误
-
503：服务器由于维护或者负载过重未能应答，在响应中可能可能会携带Retry-After响应头；有可能是因为爬虫频繁访问url，使服务器忽视爬虫的请求，最终返回503响应状态码
我们在学习web知识的时候就已经学过了状态码的相关知识，我们知道这是服务器给我的相关反馈，我们在学习的时候就被教育说应该将真实情况反馈给客户端，但是在爬虫中，可能该站点的开发人员或者运维人员为了阻止数据被爬虫轻易获取，可能在状态码上做手脚，也就是说返回的状态码并不一定就是真实情况，比如:服务器已经识别出你是爬虫，但是为了让你疏忽大意，所以照样返回状态码200，但是响应体重并没有数据。
所有的状态码都不可信，一切以是否从抓包得到的响应中获取到数据为准
注意:
elements中的源码是经过渲染之后的源码,不能作为判断标准.
elements的渲染结果指的是:抓包时,发送的所有请求得到的所有响应都汇总到elements中
只有network中抓包得到的源码才是判断依据
八、浏览器的运行过程
-
浏览器在拿到域名对应的ip后，先向地址栏中的url发起请求，并获取响应
-
在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应
-
浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css等内容会修改页面的内容，js也可以重新发送请求，获取响应
-
从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改————这个过程叫做浏览器的渲染
注意:
但是在爬虫中，爬虫只会请求url地址，对应的拿到url地址对应的响应（该响应的内容可以是html，css，js，图片等）
浏览器渲染出来的页面和爬虫请求的页面很多时候并不一样，是因为爬虫不具备渲染的能力（当然后续课程中我们会借助其它工具或包来帮助爬虫对响应内容进行渲染）
-
浏览器最终展示的结果是由多个url地址分别发送的多次请求对应的多次响应共同渲染的结果
-
所以在爬虫中，需要以发送请求的一个url地址对应的响应为准来进行数据的提取
浏览器和爬虫的请求过程的区别
浏览器
发送所有请求,进行渲染
爬虫
只发送指定请求,不会渲染
知识点：理解 浏览器展示的结果可以由多次请求对应的多次响应共同渲染出来，而爬虫是一次请求对应一个响应
发送请求后获得的文件主要有三类
- 骨骼文件
- html静态文件
- 肌肉文件
- js/ajax请求 文件
- 皮肤文件
- css/font/图片等 文件
抓包过程:
根据发送请求的流程,按顺序分别在骨骼/肌肉/皮肤文件的响应中查找数据