UserAgent 就是用戶代理,又叫報頭,是一串字符串,相當於瀏覽器的身份證號,在利用爬蟲爬取網站數據時,頻繁更換它可以避免觸發相應的反爬機制。
fake-useragent對頻繁更換UserAgent提供了很好的支持,可謂防反扒利器。下面將介紹fake-useragent的安裝到使用。
安裝
pip install fake_useragent
用法
安裝成功后,我們每次發送requests請求時通過random從中隨機獲取一個隨機UserAgent,兩行代碼即可完成UserAgent的不停更換。
from fake_useragent import UserAgent
headers = {
"User-Agent":UserAgent().chrome
}
r = requests.get(url, proxies=proxies, headers=headers, timeout=10)
如果報錯 :
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
fake_useragent中存儲的UserAgent列表發生了變動,而本地UserAgent的列表未更新所導致的,在更新fake_useragent后報錯就消失了。
按下Win +R 輸入cmd 然后輸入的下方代碼即可
Pycharm 中選中下方Terminal然后輸入如下代碼即可
pip install -U fake-useragent
Python的其他包也可以用這種方法完成更新pip install -U 包名。