scrapyd打包到服務器運行

一進入centos系統

這里要注意你是在哪個python目錄下執行的下面兩個命令

scrapyd

spiderkeeper --username youname  --password yourpasswd

在哪里執行的scrapyd那么就用的哪個版本的python，由於centos默認的是python2.7，如果要想運行python3.x，那么需要在你的python3.x環境下運行scrapyd

如果后台運行，加上nohup和&

下面是spiderkeeper可以加的參數信息

spiderkeeper [options]
Options:
  -h, --help            展示幫助信息並且退出
  --host=HOST           host, 默認:0.0.0.0
  --port=PORT           port, 默認:5000
  --username=USERNAME   設置用戶名 ,默認: admin
  --password=PASSWORD   設置密碼 ,默認: admin
  --type=SERVER_TYPE    接受蜘蛛服務器類型, 默認: scrapyd
  --server=SERVERS      爬蟲服務器, 默認: ['http://localhost:6800']
  --database-url=DATABASE_URL
                        SpiderKeeper 數據庫，默認: sqlite:////home/souche/SpiderKeeper.db
  --no-auth             不進行驗證
  -v, --verbose         日志級別

二，打包文件

1、進入帶有scrapy.cfg文件的目錄，

scrapy.cfg文件是給scrapyd-deploy使用的，

將里面url這行代碼的注釋去掉，並且在【deploy的位置】設置你的部署名稱

[settings]
default = company_info.settings

[deploy:wj]
url = http://localhost:6800/
project = company_info

2、執行scrapyd-deploy，測試scrapyd-deploy是否可以運行

　　scrapyd-deploy -l 

　　如果出現 wj     http://localhost:6800/  說明正常運行

3、執行scrapy list 查看要可以運行的項目

4、用這個命令：scrapyd-deploy 部署名稱 -p 項目名稱

　　執行 scrapyd-deploy wj -p TotalSpider

　　該命令（ scrapyd-deploy）通過讀取scrapy項目目錄下的配置文件scrapy.cfg來獲取項目信息。
　　每一個scrapy.cfg對於scrapyd來說都是一個target。所以我們需要先編輯scrapy.cfg文件
　　 [deploy：NAME]
　　如果你只有一個deploy配置那么可以不寫NAME
　　但是如果你需要在多個遠程服務器或者多個scrapyd進程上部署的話
　　應該為不同的deploy命名，方便部署。

 5、scrapyd-deploy --build-egg output.egg

輸入完之后會生成一個蛋文件，上傳入windows，上傳至spiderkeeper即可

 

 

 參考：

https://www.jianshu.com/p/93ccb59ce9b3

https://blog.csdn.net/zhaobig/article/details/78670176?locationNum=7&fps=1