python接口自动化(二十七) requests-html支持JavaScript渲染页面


前言

requests虽好,但有个遗憾,它无法加载JavaScript,当访问一个url地址的时候,不能像selenium一样渲染整个html页面出来。

requests-html终于可以支持JavaScript了,这就相当于是一个真正意义上的无界面浏览器了。

JavaScript支持

当第一次使用render()渲染页面的时候,会自动下载chromium,但只会下载这一次,后面就不会下载了。

from requests_html import HTMLSession
session=HTMLSession()
r=session.get('https://www.cnblogs.com/canglongdao/')
r.html.render() #首次使用,自动下载chromium

 

render()渲染页面

到底渲染html页面是个什么概念呢?可以请求之后对比抓包看下,不使用render()之前,只发一个请求

 

 

使用render()之后,会发很多请求,类似于手工在浏览器上输入url后,浏览器渲染整个完整的页面,这正是我们想要的模拟浏览器发请求

 

 

案例

接下来访问我的博客园地址后,抓取我的个人信息

# coding:utf-8
from requests_html import HTMLSession
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
session=HTMLSession()
r=session.get('https://www.cnblogs.com/canglongdao/',verify=False)

r.html.render() #首次使用,自动下载chromium
rs=r.html.find("#profile_block",first=True)
print(rs.text)

 运行结果


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM