原文鏈接：https://zhuanlan.zhihu.com/p/49731572
- User-Agent
按照百度百科的解釋：User-Agent中文名為用戶代理，簡稱 UA，它是一個特殊字符串頭，使得服務器能夠識別客戶使用的操作系統及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。網站可以通判斷 UA 來給不同的操作系統、不同的瀏覽器發送不同的頁面，對於爬蟲來說，UA就是標明身份的第一層標識。
以谷歌瀏覽器為例，Chrome的User-Agent為
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36
快速獲取瀏覽器的User-Agent的方法也很簡單，只需要在地址欄中輸入：about:version即可，如下圖所示：
當我們使用爬蟲請求網頁時，我們不偽裝請求頭，以http://www.httpbin.org/get為例，使用requests的GET直接請求，得到如下結果：
可以看到，User-Agent直接顯示為requests的版本號，接下來我們加入User-Agent試試。
很清楚的看到，User-Agent已經被替換成瀏覽器的標識了，而我們使用爬蟲時也大多會帶上這個請求頭，但這只是一個User-Agent，也很容易被網站通過相同瀏覽器頻繁訪問而識別為爬蟲程序，所以一般通過使用多個User-Agent隨機調用的方式，避免一個請求頭長時間訪問。
使用random的方式隨機調用headers_list中的User-Agent，可以有效避免同一個請求頭訪問網站，但每次使用時，還需要自己尋找各種瀏覽器的User-Agent，再將其復制過來，顯得有些麻煩，這個時候我們另尋他法，有一個第三方庫恰好可以解決這類問題。
fake-useragent
安裝方法和其他第三方庫一樣，pip install fake-useragent即可。
使用方法也十分簡單，導入類中的UserAgent類，然后在使用random方法就可以獲得一個User-Agent了，還支持指定瀏覽器的User-Agent功能。
我們也可以通過網站https://fake-useragent.herokuapp.com/browsers/0.1.11看到fake_useragent庫里面所提供的這幾款瀏覽器的User-Agent，如圖：
可以看到fake_useragent提供了很多User-Agent，所以我們在使用隨機User-Agent的時候，不用擔心重復的問題了。當然User-Agent只是第一步，基本上大家在寫爬蟲的時候都會帶上請求頭，配合上ip代理使用的話，爬蟲的偽裝能力就會大大增強了。