如何部署Scrapy 到Scrapyd上?


安裝上傳工具

 

1、上傳工具

scrapyd-client

 

2、安裝方法:

pip install scrapyd-client

 

3、上傳方法:

python d:\Python27\Scripts\scrapyd-deploy target -p project

注:

target -- 主機地址,如localhost;

project -- 工程名,如stock_uc;

 

4、前提:

①假設python安裝位置d:\Python27\

②需進入工程目錄下執行上傳命令;

③可選參數:

--version r03,即:

python d:\Python27\Scripts\scrapyd-deploy target -p project --version r03

 

安裝調度工具curl

1Linux系統

一般情況下Linux系統自帶curl工具,如果沒有請百度安裝方法;

 

2Windows系統

1、下載地址:

鏈接:http://pan.baidu.com/s/1mgy9zVq

密碼:4lqh

 

2、安裝方法:

 1)解壓下載的文件夾,比如解壓后的位置E:\bin-curl

 2)添加解壓后的文件夾路徑到環境變量Path中,比如:   D:\Python27\;D:\Python27\Scripts\;E:\bin-curl\;***

 3)重啟電腦是環境變量生效;

 4)測試,運行:curl --help 查看幫助信息;

 

調度爬蟲

1、添加版本信息

curl http://localhost:6800/addversion.json -F project=myproject -F       version=r23 -F egg=@myproject.egg

 

2、調度spider執行

curl http://localhost:6800/schedule.json -d project=myproject -d    spider=somespider

 

3、取消spider的執行

curl http://localhost:6800/cancel.json -d project=myproject -d      job=6487ec79947edab326d6db28a2d8651

 

4、列出工程 

curl http://localhost:6800/listprojects.json

 

5、如何啟動scrapyd,以及如何把一個現有的工程部署到scrapyd上面:

第一步:輸入scrapyd,敲擊enter,等待:

 

第二步:在這個服務器上部署工程,具體方法前面已經提到過

第三步:調度spider

第四步:取消

第五步:列出工程

 

總結

1,能正確安裝scrapyd-client;

2,能夠正確安裝curl

3,學會project的上傳和spider的調度;

 

文章來源:麥子學院

原文鏈接:http://www.maiziedu.com/wiki/crawler/deploy/


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM