前言
如果網站對請求頭部有限制，短時間內頻繁訪問會被鎖定，可以使用隨機請求頭部偽裝不同瀏覽器
使用 python 第三方模塊 fake_useragent 隨機生成請求頭部 UserAgent
fake_useragent安裝
pip安裝依賴包
pip install fake_useragent --index-url https://pypi.douban.com/simple
查看版本
D:\soft>pip show fake_useragent
Name: fake-useragent
Version: 0.1.11
Summary: Up to date simple useragent faker with real world database
Home-page: https://github.com/hellysmile/fake-useragent
Author: hellysmile@gmail.com
Author-email: hellysmile@gmail.com
License: UNKNOWN
Location: e:\python36\lib\site-packages
Requires:
Required-by: requests-html
使用示例
可以指定瀏覽器名稱，模擬對應瀏覽器請求頭部UserAgent
from fake_useragent import UserAgent
# 指定瀏覽器名稱
ua = UserAgent()
print(ua.ie)
print(ua.firefox)
print(ua.chrome)
每次運行生成的瀏覽器版本都不一樣
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; chromeframe/13.0.782.215)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0
Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36
隨機生成請求頭部
調用random方法隨機生成請求頭部
from fake_useragent import UserAgent
ua = UserAgent()
headers = {"User-Agent": ua.random}
print(headers)
每次運行結果都會不一樣
{'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36'}
查看不同User-Agent地址：http://fake-useragent.herokuapp.com/browsers/0.1.5