<原創>關於爬蟲的遠程部署之Scrapyd

Scrapyd 的遠程部署和監控

 

1. 安裝Scrapyd
sudo pip install scrapyd # 安裝scrapyd服務
sudo pip install scrapyd-client # 安裝scrapyd客戶端

2. 啟動scrapyd服務
scrapyd # 啟動服務，端口號 6800

遠程連接： 打開瀏覽器，192.168.xx.xx:6800

3. 部署scrapy項目到scrapyd上的配置

創建爬蟲項目之后，下面都有個配置文件scrapy.cfg 打開此配置文件進行如下配置

# 1. scrapyd的配置名
[deploy:scrapy_Tencent]  #scrapy_ +項目名

# 2. 啟動scrapyd服務的遠程主機ip，localhost默認本機的
url = http://localhost:6800/
#url = http:192.168.xx.xxx:6800  # 服務器的IP

#- 3.項目名稱
project = Tencent

 

4. 將scrapy項目部署到scrapyd上

# -p 執行項目名，將Tencent按指定的配置信息部署到scrapyd
scrapyd-deploy scrapy_Tencent -p Tencent

5. 啟動項目下指定的爬蟲
curl http://localhost:6800/schedule.json -d project=Tencent -d spider=tencent

{"status": "ok", "jobid": "2f240b1171bc11e7ae5aa45e60e36247", "node_name": "PowerMac.local"}

6. 停止項目下指定的爬蟲 （記住啟動之后的jobid，停止爬蟲的時候需要這個值來停止）

curl http://localhost:6800/cancel.json -d project=Tencent -d job=2f240b1171bc11e7ae5aa45e60e36247

7. 停止scrapyd的服務
Control + C

 

子彥