python使用ip代理抓取網頁

  在抓取一個網站的信息時，如果我們進行頻繁的訪問，就很有可能被網站檢測到而被屏蔽，解決這個問題的方法就是使用ip代理 。在我們接入因特網進行上網時，我們的電腦都會被分配一個全球唯一地ip地址供我們使用，而當我們頻繁訪問一個網站時，網站也正是因為發現同一個ip地址訪問多次而進行屏蔽的，所以這時候如果我們使用多個ip地址進行隨機地輪流訪問，這樣被網站檢測的概率就很小了，這時候如果我們再使用多個不同的headers，這時候就有多個ip+主機的組合，訪問時被發現的概率又進一步減小了。

 

關於代碼中ip代理的使用，下面介紹一下：

步驟：

1、urllib2庫中的ProxyHandler類，通過此類可以使用ip代理訪問網頁

proxy_support=urllib2.ProxyHandler({})，其中參數是一個字典{‘類型':'代理ip:端口號'}

2、定制、創建一個opener

opener=urllib2.build_opener(proxy_support)

3、（1）安裝opener

          urlib2.install_opener(opener)

       （2）調用默認的opener

         opener.open(url)

對於沒有設置反爬蟲機制的網站，我們只需要直接像上面引入ProxyHandler類進行處理，下面以訪問csdn主頁為例：

 

import urllib

url="http://www.csdn.net/"
for i in range(0,10000):
    html=urllib.urlopen(url)
    print html.info()
    print i

當使用上述代碼時，當循環到20時，就會出現下面的錯誤

 

Traceback (most recent call last):
  File "C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py", line 19, in <module>
    html=urllib.urlopen(url)
  File "C:\Python27\lib\urllib.py", line 87, in urlopen
    return opener.open(url)
  File "C:\Python27\lib\urllib.py", line 213, in open
    return getattr(self, name)(url)
  File "C:\Python27\lib\urllib.py", line 350, in open_http
    h.endheaders(data)
  File "C:\Python27\lib\httplib.py", line 997, in endheaders
    self._send_output(message_body)
  File "C:\Python27\lib\httplib.py", line 850, in _send_output
    self.send(msg)
  File "C:\Python27\lib\httplib.py", line 812, in send
    self.connect()
  File "C:\Python27\lib\httplib.py", line 793, in connect
    self.timeout, self.source_address)
  File "C:\Python27\lib\socket.py", line 571, in create_connection
    raise err
IOError: [Errno socket error] [Errno 10060] 

這就是因為我們使用了計算機的單一ip進行頻繁訪問而被檢測出來的。

下面是使用了ip代理的代碼：

 

import urllib2
import random

def getHtml(url,proxies):
    random_proxy = random.choice(proxies)
    proxy_support = urllib2.ProxyHandler({"http":random_proxy})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener(opener)
    html=urllib2.urlopen(url)
    return html

url="http://www.csdn.net/"
proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080"
        "115.173.218.224:9797","110.77.0.70:80"]
for i in range(0,10000):
    try:
        html=getHtml(url,proxies)
        print html.info()     #打印網頁的頭部信息，只是為了展示訪問到了網頁，可以自己修改成想顯示的內容
        print i
    except:
        print "出現故障"

 

       這個代碼我測試是在1096次時被檢測到了，要知道我的列表中只有6個ip，如果我們增加ip的個數，那么被發現的概率是不是又會更低了。對於上面的例子中的ip代理，有可能在過了一段時間后便不能用了，這個需要自己到網上搜索最新的ip代理，進行替換。還有程序中的異常處理是為了使程序能夠處理ip代碼訪問時出現問題的情況，因為有些ip代理在訪問的時候會出現故障的，這樣做了可以使程序更加健壯。

 

對於有反爬蟲機制的網頁，下面還是以訪問csdn中的博客為例：

 

#coding:utf-8
import urllib2
import random

def get_html(url,headers,proxies):

    random_userAget = random.choice(headers)
    random_proxy = random.choice(proxies)

    #下面是模擬瀏覽器進行訪問
    req = urllib2.Request(url)
    req.add_header("User-Agent", random_userAget)
    req.add_header("GET", url)
    req.add_header("Host", "blog.csdn.net")
    req.add_header("Referer", "http://blog.csdn.net/?&page=6")

    #下面是使用ip代理進行訪問
    proxy_support = urllib2.ProxyHandler({"http":random_proxy})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener(opener)


    html = urllib2.urlopen(req)
    return html

url = "http://blog.csdn.net/?&page=3"
"""
使用多個主機中的user_agent信息組成一個列表，當然這里面的user_agent都是殘缺的，大家使用時可以自己找
身邊的小伙伴借呦
"""
user_agents = [
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWe。。。hrome/45.0.2454.101 Safari/537.36",
    "Mozilla / 5.0(Windows NT 6.1) AppleWebKit / 537.。。。。likeGecko) Chrome / 45.0.2454.101Safari/ 537.36",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit。。。。。Gecko) Chrome/50.0.2661.102 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3。。。。ML, like Gecko) Chrome/49.0.2623.112 Safari/537.36",
    "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) 。。。WebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
    "User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKi。。。。。36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) Apple。。。。。KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36"
    ]
#網上的ip有可能是不能用的，需要多做嘗試
myproxies=["220.189.249.80:80","124.248.32.43:80"]
html = get_html(url,user_agents,myproxies)
print html.read()

對於上面代碼中的關於模擬瀏覽器的部分可以參照我的上一篇博客：http://blog.csdn.net/qq_29883591/article/details/52006624