1.啟動scrapyd的服務:scrapyd(必須處於開啟狀態)
2.另開一個終端,進入爬蟲目錄:
編寫配置:vi scrapy.cfg ,進入scrapy.cfg后,在[deploy]里面加入名字,如:[deploy:news],
再將url前面的#,去掉。保存退出(按Esc后輸入冒號 : ,寫入wq!)。
3.進入到scrapy項目根目錄,執行:scrapyd-deploy <target> -p <projectname> ,<target>值為在[deploy]里面加入名字,<projectname>值為根目錄的名字
如:scrapyd-deploy news -p Scrapyzhangxinxu
4..啟動爬蟲
(命令式啟動爬蟲:curl http://localhost:6800/schedule.json -d project=(根目錄的名字) -d spider=(爬蟲的名字))