前言
大网站都会有反爬机制,会通过检查请求头里是否带有user-agent来判断请求是否是爬虫。当但即使你加上user-agent后,频繁的使用同一个user-agent进行请求后,还是会触发反爬机制,所以就有了神奇的faker库
安装
pip install faker
例子
1 from faker import Factory 2 # 生成不同的user-agent 3 User_Agent = Factory.create() 4 for i in range(10): 5 print(User_Agent.user_agent())
实战
Faker库的实战例子可以看一下我这篇文章 Python爬虫增加CSDN博客访问量