如何爬取可用的IP代理

上一篇說到對付反爬蟲有一個很關鍵的方法就是使用IP代理，那么我們應該如何獲取這些可用的IP代理呢？這里分享一下自己這兩天的一些爬取IP代理的心得體會。

1 步驟

　　1.找到幾個提供免費IP代理的網站，獲取IP數據源

　　2.驗證對應的IP代理訪問出口IP是否跟本機的出口IP一致，得到不一致的IP代理列表

　　3.根據自身的實驗目的驗證IP代理的響應速度，進行排序，擇優選用

2 具體做法

　　1.可以上網搜索，有很多，例如西刺、快代理等等

　　2.可以在這里進行驗證

　　3.這個就根據自身爬蟲的需要，看是下載東西還是其他的，再進一步測試速度

3 代碼

 

# *-* coding: utf-8 *-*
import BeautifulSoup
import requests
import time

# to check if the ip proxy can work
URL_CHECK = 'http://1212.ip138.com/ic.asp'
RESPONSE_TIME = 2
IP_LOCAL = '120.236.174.144'

# this is the pages of the website "http://www.ip181.com/daili/1.html"
# you can check out in the browser.
# the program will crawl the ip proxy from pages [start_page, end_page]
# as: [1,2], it will crawl the page 1 and page 2.
start_page = input('Please input your start page to crawl: ')
end_page = input('Please input your end page to crawl: ')


s = requests.Session()

# check if the exit IP is changed
def check_a_ip(ip):
    start = time.time()
    try:
        connection = s.get(URL_CHECK, headers={
            'Host': '1212.ip138.com',
            'Referer': 'http://www.ip138.com/',
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
        }, proxies={'http': 'http://' + ip}, timeout=RESPONSE_TIME)
        res = connection.content
        # print res

        soup = BeautifulSoup.BeautifulSoup(res)
        ip_return = soup.findAll('center')[0].text.split('[')[1].split(']')[0]
        return ip_return != IP_LOCAL, '%.6f' % (time.time() - start)
    except Exception, e:
        # print '<ERROR>'
        # print e
        return False, '-1'

url = 'http://www.ip181.com/daili/%s.html'
ip_proxy_file = open('proxy.txt', 'w')
ip_proxy_file.write('ip_port,response_time\n')
ip_proxy_file.close()

for i in range(int(start_page), int(end_page) + 1):
    ip_proxy_file = open('proxy.txt', 'a')

    connection_crawl = s.get(url % str(i),headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
        })
    soup_crawl = BeautifulSoup.BeautifulSoup(connection_crawl.content)

    # parse each page,find the good ip proxy
    trs = soup_crawl.findAll('tr')
    for tr in trs[1:len(trs)]:
        tds = tr.findAll('td')
        ip = tds[0].contents[0] + ':' + tds[1].contents[0]
        is_good, res_time = check_a_ip(ip)
        if is_good:
            ip_proxy_file.write(ip + ',' + res_time + '\n')

    print '%s : Finish to crawl the page %d.  %s' % (time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), i, url % str(i))
    ip_proxy_file.close()

 

關於這份代碼，有幾個地方做一下說明：

· check_a_ip(ip)：該函數為IP代理檢查函數，返回兩個值（一個為訪問請求是否成功使用了代理，一個為檢查的響應時間）

· start_page、end_page： 手動輸入獲取IP代理的網頁頁碼，這個需要根據具體網站設定

· for i in range(int(start_page), int(end_page) + 1)：主函數的循環，遍歷設定范圍的網頁

· for tr in trs[1:len(trs)]：循環遍歷並解析出一個網頁中的所有IP代理，以及檢驗是否可用

· ip_proxy_file：文本寫入，最終把結果都寫入proxy.txt中

4 拓展

本實驗可以采用多線程進行爬取或者檢驗，這樣的爬取速率會快很多，大家有時間可以嘗試一下