Python爬蟲學習筆記——防豆瓣反爬蟲

開始慢慢測試爬蟲以后會發現IP老被封，原因應該就是單位時間里面訪問次數過多，雖然最簡單的方法就是降低訪問頻率，但是又不想降低訪問頻率怎么辦呢？查了一下最簡單的方法就是使用轉輪代理IP，網上找了一些方法和免費的代理IP，嘗試了一下，可以成功，其中IP代理我使用的是http://www.xicidaili.com/nn/

獲取Proxies的代碼如下：

for page in range(1,5):
    IPurl = 'http://www.xicidaili.com/nn/%s' %page
    rIP=requests.get(IPurl,headers=headers)
    IPContent=rIP.text
    soupIP = BeautifulSoup(IPContent,"html5lib")
    trs = soupIP.find_all('tr')
    for tr in trs[1:]:
        tds = tr.find_all('td')
        ip = tds[2].text.strip()
        port = tds[3].text.strip()
        protocol = tds[6].text.strip()
        if protocol == 'HTTP':
            httpResult = 'http://' + ip + ':' + port
        elif protocol =='HTTPS':
            httpsResult = 'https://' + ip + ':' + port

由於Requests是可以直接在訪問時候加上proxies的，所以我直接得到的格式使用的是proxies中的格式，requests庫文檔中，添加代理的格式如下：

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

 測試可以使用http://www.ip.cn測試訪問時的本地IP，代碼如下：

import requests
from bs4 import BeautifulSoup
import html5lib
headers = {
"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36",
}
proxies ={
    "http":'http://122.193.14.102:80',
    "https":"http://120.203.18.33:8123"
}
r = requests.get('http://www.ip.cn',headers=headers,proxies=proxies)
content = r.text
ip=re.search(r'code.(.*?)..code',content)
print (ip.group(1))

上面的代理需要根據自己實際可用代理替換。

參考鏈接：http://docs.python-requests.org/zh_CN/latest/user/advanced.html

               http://www.oschina.net/code/snippet_2463131_51169