windows中使用scrapyd遇到的問題


1.window下‘scrapyd_deploy’不是內部或外部命令,也不是可運行的程序

在windows上使用scrapyd-client

安裝后,並不能使用相應的命令'scrapyd-deploy' 

需要在"C:\Python27\Scripts" 目錄下 增加scrapyd-deploy.bat文件

內容填充為:

@echo off
 
"C:\python27\python.exe" "C:\python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

2.在項目部署時,出現“environment can only contain strings”的錯誤,根據錯誤找原因,在scrapyd源碼中有一個utils.py文件,打開這個文件 
在126行和130行進行一點改動 




3. 執行scrapyd服務上指定項目的指定爬蟲
curl http://[ip]:6800/schedule.json -d project=[項目名]-d spider=[爬蟲名]
爬蟲執行成功后,終端會給出該爬蟲的 jobid 值,表示該爬蟲,后面停止爬蟲需要提供jobid

4. 停止scrapyd服務上的指定項目的指定爬蟲(通過jobid指定)
curl http://[ip]:6800/cancel.json -d project=[項目名] -d job=之前的jobid值

停止后如果代碼需要修改,記得重新部署再執行。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM