安裝上傳工具
1、上傳工具
scrapyd-client
2、安裝方法:
pip install scrapyd-client
3、上傳方法:
python d:\Python27\Scripts\scrapyd-deploy target -p project
注:
target -- 主機地址,如localhost;
project -- 工程名,如stock_uc;
4、前提:
①假設python安裝位置d:\Python27\;
②需進入工程目錄下執行上傳命令;
③可選參數:
--version r03,即:
python d:\Python27\Scripts\scrapyd-deploy target -p project --version r03
安裝調度工具curl
1、Linux系統
一般情況下Linux系統自帶curl工具,如果沒有請百度安裝方法;
2、Windows系統
1、下載地址:
鏈接:http://pan.baidu.com/s/1mgy9zVq
密碼:4lqh
2、安裝方法:
1)解壓下載的文件夾,比如解壓后的位置E:\bin-curl
2)添加解壓后的文件夾路徑到環境變量Path中,比如: D:\Python27\;D:\Python27\Scripts\;E:\bin-curl\;***
3)重啟電腦是環境變量生效;
4)測試,運行:curl --help 查看幫助信息;
調度爬蟲
1、添加版本信息
curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
2、調度spider執行
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
3、取消spider的執行
curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d8651
4、列出工程
curl http://localhost:6800/listprojects.json
5、如何啟動scrapyd,以及如何把一個現有的工程部署到scrapyd上面:
第一步:輸入scrapyd,敲擊enter,等待:
第二步:在這個服務器上部署工程,具體方法前面已經提到過
第三步:調度spider:
第四步:取消
第五步:列出工程
總結
1,能正確安裝scrapyd-client;
2,能夠正確安裝curl;
3,學會project的上傳和spider的調度;
文章來源:麥子學院