fake_useragent（偽造請求頭）

目錄

• 楔子
• About
• Usage
• 其他用法
• 處理異常

楔子

返回頂部

在爬蟲中進行request請求，很多時候，都需要添加請求頭，不然服務器會認為是非法的請求，從而拒絕你的訪問。

import requests
url = 'https://www.zhihu.com/question/315387406/answer/812734512'
response = requests.get(url=url)
print(response.status_code)  # 400

在添加請求頭中最常用的就是添加user-agent來講本次請求偽裝成瀏覽器。

User Agent 中文名為用戶代理，簡稱 UA，它是一個特殊字符串頭，使得服務器能夠識別客戶使用的操作系統及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。

那么個人怎么搞這個user-agent呢，沒錯？八仙過海各顯神通，但一般都是用手來解決個人問題！

import requests
url = 'https://www.zhihu.com/question/315387406/answer/812734512'
 headers = {
 "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
 }
 response = requests.get(url=url, headers=headers)
 print(response.status_code) # 200

但，自從有了fake_useragent，媽媽再也不用擔心......

from fake_useragent import UserAgent

# 實例化 user-agent 對象

ua = UserAgent()

url = 'https://www.zhihu.com/question/315387406/answer/812734512'
 headers = {"user-agent": ua.chrome} # 指定瀏覽器 user-agent
 # 或者可以這樣寫
 # headers = {"user-agent": UserAgent().random} # 一步到位，隨機生成一個 user-agent
 response = requests.get(url=url, headers=headers)
 print(response.status_code) # 200

About

返回頂部

什么是fake_useragent？

簡單來說，fake_useragent就像你的女朋友，能靈活的幫助我們生成user-agent，從而解放雙手。

install

pip install fake_useragent

update

pip install -U fake-useragent

查看版本

import fake_useragent

print(fake_useragent.VERSION)  # 0.1.11

Usage

返回頂部

生成指定瀏覽器的user-agent

import fake_useragent

# 實例化 user-agent 對象
 ua = fake_useragent.UserAgent()
# ua.ie
 print(ua.ie) # Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; chromeframe/13.0.782.215)
# ua.msie
 print(ua['Internet Explorer']) # Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; InfoPath.2; SLCC1; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 2.0.50727)
# ua.opera
 print(ua.opera) # Opera/9.80 (Windows NT 6.1; U; en-US) Presto/2.7.62 Version/11.01
# ua.chrome
 print(ua.chrome) # Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36
# ua.google
 print(ua['google chrome']) # Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36
# ua.firefox
 print(ua.firefox) # Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/21.0.1
# ua.ff
 print(ua.ff) # Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/29.0
# ua.safari
 print(ua.safari) # Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-TW) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
 

隨機生成user-agent

import fake_useragent

# 實例化 user-agent 對象
 ua = fake_useragent.UserAgent()
 print(ua.random) # Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36
 print(ua.random) # Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)
 print(ua.random) # Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36

每次都能隨機生成一個UA表示，大大增強了爬蟲的真實性。

其他用法

返回頂部

將遠程user agent json文件下載到本地

由於fake_useragent庫維護的user-agent json文件是在線的：

import fake_useragent

print(fake_useragent.settings.CACHE_SERVER)

'''
 
網址，其實是個json文件
 
https://fake-useragent.herokuapp.com/browsers/0.1.11
 '''

既然是在線的json文件，那么我們就可將之下載到本地：

from fake_useragent import UserAgent, VERSION

location = './fake_useragent%s.json' % fake_useragent.VERSION
 ua = UserAgent(path=location)

如果報錯fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached，重新運行代碼就好。

完事你就會發現在與腳本文件的同級目錄有了一個json文件。

如果僅是想跟新本地已保存的json文件

from fake_useragent import UserAgent

ua = UserAgent()

ua.update()

如果你不想緩存數據庫或沒有可寫文件系統

from fake_useragent import UserAgent

ua = UserAgent(cache=False)

如果不想使用托管的緩存服務器

from fake_useragent import UserAgent

ua = UserAgent(use_cache_server=False)

處理異常

返回頂部

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries

from fake_useragent import UserAgent

# 禁用服務器緩存： use_cache_server=False

headers = {"User-Agent": UserAgent(use_cache_server=False).chrome}

response = requests.get(url=url, headers=headers)

print(response.status_code)  # 200

FakeUserAgentError(‘Maximum amount of retries reached’

from fake_useragent import UserAgent

# 法1 禁用服務器緩存： use_cache_server=False

headers = {"User-Agent": UserAgent(use_cache_server=False).chrome}

# 法2 忽略ssl驗證

headers = {"User-Agent": UserAgent(verify_ssl=False).chrome}

# 法3 不緩存數據

headers = {"User-Agent": UserAgent(cache=False).chrome}

response = requests.get(url=url, headers=headers)

print(response.status_code)  # 200

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

from fake_useragent import UserAgent, VERSION

location = './fake_useragent%s.json' % fake_useragent.VERSION
 ua = UserAgent(path=location)

我在將在線的json文件寫入到本地時，由urllib.error.URLError: <urlopen error timed out>引起的報錯，重新運行就好，本地文件也下載完成。

---

see also： fake_useragent-github | fake_user_agent-pypi | Python爬蟲小技巧之偽造隨機的User-Agent | Python 使用 fake-useragent 庫時報錯的解決方法