在編寫爬蟲進行網頁數據的時候，大多數情況下，需要在請求是增加請求頭，下面介紹一個python下非常好用的偽裝請求頭的庫：fake-useragent，具體使用說明如下：
- 安裝fake-useragent庫
pip install fake-useragent
- 獲取各瀏覽器的fake-useragent
from fake_useragent import UserAgent ua = UserAgent() #ie瀏覽器的user agent print(ua.ie) #opera瀏覽器 print(ua.opera) #chrome瀏覽器 print(ua.chrome) #firefox瀏覽器 print(ua.firefox) #safri瀏覽器 print(ua.safari) #最常用的方式 #寫爬蟲最實用的是可以隨意變換headers，一定要有隨機性。支持隨機生成請求頭 print(ua.random) print(ua.random) print(ua.random)
示例代碼
-
from fake_useragent import UserAgent import requests ua=UserAgent() #請求的網址 url="http://www.baidu.com" #請求頭 headers={"User-Agent":ua.random} #請求網址 response=requests.get(url=url,headers=headers) #響應體內容 print(response.text) #響應狀態信息 print(response.status_code) #響應頭信息 print(response.headers)