代理IP之蘑菇隧道轉發代理

簡介

      在爬取網頁時，一般都會用到代理IP。蘑菇代理網站：http://www.moguproxy.com/  蘑菇代理的代理IP有兩種：API私密代理和隧道轉發代理，這篇文章主要介紹隧道轉發代理 。

      在官網購買隧道轉發代理后，就可以到訂單頁面查看購買訂單的Appkey。如果是第一次使用，那么需要添加白名單。

 

        可以去官網查看隧道轉發代理的接入文檔（Python3）。下面的代碼是經過修改后的接入文檔。只需要在接入文檔中添加有效的Appkey，就可以使用代理IP訪問網站。

def use_agency(url,appKey):
    import requests

    # 蘑菇隧道代理服務器地址
    ip_port = 'secondtransfer.moguproxy.com:9001'

    proxy = {"http": "http://" + ip_port,"https": "https://" + ip_port}
    headers = {
      "Proxy-Authorization": 'Basic '+ appKey,
      "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
      "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4"}
    r = requests.get(url, headers=headers, proxies=proxy,verify=False,allow_redirects=False)
    print(r.content.decode('utf-8'))

    if r.status_code == 302 or r.status_code == 301 :
        loc = r.headers['Location']
        print(loc)
        url_f = loc
        r = requests.get(url_f, headers=headers, proxies=proxy, verify=False, allow_redirects=False)
        print(r.content.decode('utf-8'))

if __name__ == '__main__':
    # url是需要使用代理IP訪問的網站
    url = '***'
    # 在官網購買隧道轉發代理后，就可以到訂單頁面查看購買訂單的Appkey
    appKey = "***"
    use_agency(url,appKey)