在Scrapy中使用IP池或用戶代理（python3）

一、創建Scrapy工程

scrapy startproject 工程名

 

二、進入工程目錄，根據爬蟲模板生成爬蟲文件

scrapy genspider -l # 查看可用模板
scrapy genspider -t 模板名 爬蟲文件名 允許的域名

 

 

三、定義爬取關注的數據（items.py文件）

 

四、編寫爬蟲文件

 

五、設置IP池或用戶代理
（1）設置IP池
步驟1：在settings.py文件中添加代理服務器的IP信息，如：

# 設置IP池
IPPOOL = [
　　{"ipaddr": "221.230.72.165:80"},
　　{"ipaddr": "175.154.50.162:8118"},
　　{"ipaddr": "111.155.116.212:8123"}
]

 

步驟2：創建下載中間文件middlewares.py（與settings.py同一個目錄），如：

#創建方法，cmd命令行，如項目為modetest，

E:\workspace\PyCharm\codeSpace\modetest\modetest>echo #middlewares.py

# -*- coding: utf-8 -*-
# 導入隨機模塊
import random
# 導入settings文件中的IPPOOL
from .settings import IPPOOL
# 導入官方文檔對應的HttpProxyMiddleware
from scrapy.contrib.downloadermiddleware.httpproxy import HttpProxyMiddleware

class IPPOOlS(HttpProxyMiddleware):
　　# 初始化
　　def __init__(self, ip=''):
　　self.ip = ip

　　# 請求處理
　　def process_request(self, request, spider):
　　# 先隨機選擇一個IP
　　thisip = random.choice(IPPOOL)
　　print("當前使用IP是："+ thisip["ipaddr"])
　　request.meta["proxy"] = "http://"+thisip["ipaddr"]

 

步驟3：在settings.py中配置下載中間件

# 配置下載中間件的連接信息
DOWNLOADER_MIDDLEWARES = {
　　'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,
　　'modetest.middlewares.IPPOOlS' : 125    
}

 

（2）設置用戶代理
步驟1：在settings.py文件中添加用戶代理池的信息（配置幾個瀏覽器'User-Agent'），如：

# 設置用戶代理池
UPPOOL = [
　　"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
]

 

步驟2：創建下載中間文件uamid.py（與settings.py同一個目錄），如：

#創建方法，cmd命令行，如項目為modetest，

E:\workspace\PyCharm\codeSpace\modetest\modetest>echo #uamind.py

# -*- coding: utf-8 -*-#
# 導入隨機模塊
import random
# 導入settings文件中的UPPOOL
from .settings import UPPOOL
# 導入官方文檔對應的HttpProxyMiddleware
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

class Uamid(UserAgentMiddleware):
　　# 初始化 注意一定要user_agent，不然容易報錯   
　　def __init__(self, user_agent=''):
　　self.user_agent = user_agent

　　# 請求處理
　　def process_request(self, request, spider):
　　　　# 先隨機選擇一個用戶代理
　　　　thisua = random.choice(UPPOOL)
　　　　print("當前使用User-Agent是："+thisua)
　　　　request.headers.setdefault('User-Agent',thisua)

 

步驟3：在settings.py中配置下載中間件

# 配置下載中間件的連接信息
DOWNLOADER_MIDDLEWARES = {
　　'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 2,
4　　 'modetest.uamid.Uamid': 1    
}

 

 

總而言之，有時候避免不了配置這類信息，所以直接在settings中都一起配置了如下，直接粘貼到settings.py文件的最后面

#========================================

# 設置IP池和用戶代理

#  禁止本地Cookie
COOKIES_ENABLED = False

# 設置IP池
IPPOOL = [
    {"ipaddr": "221.230.72.165:80"},
    {"ipaddr": "175.154.50.162:8118"},
    {"ipaddr": "111.155.116.212:8123"}
]

# 設置用戶代理池
UPPOOL = [
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
]

# 配置下載中間件的連接信息
DOWNLOADER_MIDDLEWARES = {
    #'scrapy.contrib.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,
    #'modetest.middlewares.IPPOOlS' : 125,
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 2,
    'modetest.uamid.Uamid': 1
}

#============================================