避免網絡爬蟲IP被封的策略

背景

這兩天一直在搞Java網絡爬蟲作為Java課程設計，目標是爬取豆瓣電影top250的影評，之后可能還需要進行情感分析，當然這就不是爬蟲的內容了。我的爬蟲程序在一開始只是一個頁面一個頁面的爬取信息，一直沒出現什么太大問題，直到昨晚進行整體測試時，出現了IP被封的問題。大概僅僅爬取了數萬條評論，再次進行測試后就出現了進程異常報錯。上網搜索發現可能是IP被封了，這時候再進入豆瓣網站提示我需要登錄才能訪問，這說明確實是被封了。

今天也再次出現這個問題，被封了三個IP，幸好實驗室的IP多，但也不能任由我揮霍，經過今天一天與豆瓣的斗智斗勇，這里給出一些避免IP被封的策略。

主要參考自 https://www.cnblogs.com/mooba/p/6484340.html

user_agent 偽裝和輪換

不同瀏覽器的不同版本都有不同的user_agent，是瀏覽器類型的詳細信息，也是瀏覽器提交Http請求的重要頭部信息。我們可以在每次請求的時候提供不同的user_agent，繞過網站檢測客戶端的反爬蟲機制。比如說，可以把很多的user_agent放在一個列表中，每次隨機選一個用於提交訪問請求。

這里給出一些user_agent

Opera

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60
Opera/8.0 (Windows NT 5.1; U; en)
Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50
 
Firefox
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0
Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10
 
Safari
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2
 
chrome
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16
 
360
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
 
 
淘寶瀏覽器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11
 
獵豹瀏覽器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER) 
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)"
QQ瀏覽器
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)
sogou瀏覽器
Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)
maxthon瀏覽器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36
UC瀏覽器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36

手機端


IPhone
Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
 
IPod
Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
 
IPAD
Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5
Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
 
Android
Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
 
QQ瀏覽器 Android版本
MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
 
Android Opera Mobile
Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10
 
Android Pad Moto Xoom
Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13
 
BlackBerry
Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+
 
WebOS HP Touchpad
Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0
 
Nokia N97
Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124
 
Windows Phone Mango
Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)
 
UC瀏覽器
UCWEB7.0.2.37/28/999
 
NOKIA5700/ UCWEB7.0.2.37/28/999
 
UCOpenwave
Openwave/ UCWEB7.0.2.37/28/999
 
UC Opera
Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999

最近又看到一個專門提供偽裝瀏覽器身份的開源庫，名字取得很直白：

fake-useragent

使用代理IP和輪換

檢查ip的訪問情況是網站的反爬機制最喜歡也最喜歡用的方式。這種時候就可以更換不同的ip地址來爬取內容。當然，你有很多有公網ip地址的主機或者vps是更好的選擇，如果沒有的話就可以考慮使用代理，讓代理服務器去幫你獲得網頁內容，然后再轉發回你的電腦。代理按透明度可以分為透明代理、匿名代理和高度匿名代理:

• 透明代理：目標網站知道你使用了代理並且知道你的源IP地址，這種代理顯然不符合我們這里使用代理的初衷
• 匿名代理：匿名程度比較低，也就是網站知道你使用了代理，但是並不知道你的源IP地址
• 高匿代理：這是最保險的方式，目標網站既不知道你使用的代理更不知道你的源IP
  代理的獲取方式可以去購買，當然也可以去自己爬取免費的，這里有一個提供免費代理的網站，可以爬下來使用，但是免費的代理通常不夠穩定。

設置訪問時間間隔

很多網站的反爬蟲機制都設置了訪問間隔時間，一個IP如果短時間內超過了指定的次數就會進入“冷卻CD”，所以除了輪換IP和user_agent
可以設置訪問的時間間間隔長一點，比如沒抓取一個頁面休眠一個隨機時間：

1. import time，random
2. time.sleep(random.random()*3)

對於一個crawler來說，這是一個比較responsible的做法。
因為本來爬蟲就可能會給對方網站造成訪問的負載壓力，所以這種防范既可以從一定程度上防止被封，還可以降低對方的訪問壓力。

對於Java的HttpClient來說設置訪問時間間隔最為有效

private static RequestConfig getConfig() {
        return RequestConfig.custom()
                .setConnectTimeout(10000) //創建連接的最長時間
                .setConnectionRequestTimeout(10000) //獲取連接的最長時間
                .setSocketTimeout(10000) //數據傳輸的最長時間
                .build();
    }

最后再附上一個介紹User-Agent的連接

https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Headers/User-Agent