有關爬蟲在linux下的部署


1.啟動scrapyd的服務:scrapyd(必須處於開啟狀態)

 

2.另開一個終端,進入爬蟲目錄:

  編寫配置:vi scrapy.cfg ,進入scrapy.cfg后,在[deploy]里面加入名字,如:[deploy:news],

再將url前面的#,去掉。保存退出(按Esc后輸入冒號   :   ,寫入wq!)。

 

3.進入到scrapy項目根目錄,執行:scrapyd-deploy <target> -p <projectname> ,<target>值為在[deploy]里面加入名字,<projectname>值為根目錄的名字

如:scrapyd-deploy news -p Scrapyzhangxinxu

 

4..啟動爬蟲

(命令式啟動爬蟲:curl http://localhost:6800/schedule.json -d project=(根目錄的名字) -d spider=(爬蟲的名字))

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM