第二十八節：隧道代理阿布雲代理

阿布雲為我們提供了隧道代理IP的服務，通過阿布雲HTTP隧道的動態版可以讓我們的爬蟲很好的使用動態代理IP

由此可知我們可以得到requests接入代碼

# -*- coding:utf-8 -*-
import requests

# 要訪問的目標網頁
url = "http://httpbin.org/get"

# 代理服務器，根據購買的套餐，自行查看修改
proxy_host = "http-dyn.abuyun.com"

# 代理端口
proxy_prot = "9020"

# 代理隧道驗證信息
proxy_user = "H01234567890123D"     # 購買隧道的通行證書
proxy_pass = "0123456789012345"     # 購買隧道的通行秘鑰

proxy_meta = "http://%(user)s:%(pass)s@%(host)s:%(port)s"%{
    "host":proxy_host,
    "port":proxy_prot,
    "user":proxy_user,
    "pass":proxy_pass,
}

proxies = {
    "http":proxy_meta,
    "https":proxy_meta,
}

response = requests.get(url=url,proxies=proxies)
print(response.status_code)
print(response.text)

得到結果為：

200
{
"args": {},
"headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.1"
},
"origin": "60.207.237.111",
"url": "http://httpbin.org/get"}

最后由於阿布雲的proxy地址是不變的（實際是動態ip），實際上，得到上邊的proxies后，直接使用那個地址，進行proxies=proxies 設置即可。

同時阿布雲還提供爬蟲框架Scrapy的接入代碼

import base64

# 代理服務器，根據購買的套餐，自行查看修改
proxyServer = "http://http-dyn.abuyun.com:9020"

# 代理隧道驗證信息
proxy_user = "H01234567890123D"     # 購買隧道的通行證書
proxy_pass = "0123456789012345"     # 購買隧道的通行秘鑰

proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxy_user + ":" + proxy_pass), "ascii"))
proxyAuth = proxyAuth.decode("utf8")


class ProxyMiddleware(object):
    def process_request(self,request,spider):
        request.meta["proxy"] = proxyServer
        request.headers["Proxy-Authorization"] = proxyAuth

由於，在阿布雲購買的是最基礎的代理，即每秒 5 個請求，又因為 Scrapy 默認的並發數是 16 個，所以需要對 Scrapy 請求數量進行一下限制，可以設置每個請求的延遲時間為 0.2s ，這樣一秒就剛好請求 5 個，最后啟用上面的代理中間件類即可：

AUTOTHROTTLE_ENABLED = True
DOWNLOAD_DELAY = 0.2  # 每次請求間隔時間

# 啟用阿布雲代理中間件
DOWNLOADER_MIDDLEWARES = {
 'maoyan.middlewares.ProxyMiddleware': 301,
}