1.window下‘scrapyd_deploy’不是內部或外部命令,也不是可運行的程序
在windows上使用scrapyd-client
安裝后,並不能使用相應的命令'scrapyd-deploy'
需要在"C:\Python27\Scripts" 目錄下 增加scrapyd-deploy.bat文件
內容填充為:
@echo off "C:\python27\python.exe" "C:\python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
2.在項目部署時,出現“environment can only contain strings”的錯誤,根據錯誤找原因,在scrapyd源碼中有一個utils.py文件,打開這個文件
在126行和130行進行一點改動
3. 執行scrapyd服務上指定項目的指定爬蟲
curl http://[ip]:6800/schedule.json -d project=[項目名]-d spider=[爬蟲名]
爬蟲執行成功后,終端會給出該爬蟲的 jobid 值,表示該爬蟲,后面停止爬蟲需要提供jobid
4. 停止scrapyd服務上的指定項目的指定爬蟲(通過jobid指定)
curl http://[ip]:6800/cancel.json -d project=[項目名] -d job=之前的jobid值
停止后如果代碼需要修改,記得重新部署再執行。