爬蟲設置代理

以下是自己總結的設置 IP 代理的幾種方法，僅供參考

 

方法一：

　　requests發送請求添加代理

　　proxies = {'http':'代理 IP:端口號'}

實例：

import requests

url = 'www.baidu.com'

response = request.get(url=url, proxies={'http':'ip:port'})

 

方法二：

　　調用 ProxyHandler 添加 代理

實例：　

from urllib import request

url = 'www.baidu.com'

# 設置代理
handler = request.ProxyHandler({'http':'ip:port'})
opener = request.bulid_opener(handler)

# 發送請求
req = request.Request(url=url)
response = opener.open(req)

 

方法三：

　　使用 client 建立連接，添加代理 IP，port

實例：

from http import client

url = 'www.baidu.com'

conn = client.HTTPConnection(ip, port, timeout=5)
response = conn.request('GET',url=url)

方法四

　　在 scrapy下載中間件添加代理

• 　　middlewares.py 自定義一個代理類，重寫 process_request 方法

class MyDaiLi(object):
    """docstring for MyDaiLi"""
    # 重寫這個方法
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://ip:port'

• 　　settings.py （第55行）打開下載中間件，並將自定義的 MyDaiLi添加進去

DOWNLOADER_MIDDLEWARES = {
   'daili_loginproject.middlewares.MyDaiLi': 543,
}