scrapydweb 安裝部署

 

https://blog.csdn.net/xyb1206/article/details/89395316?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

 

https://blog.csdn.net/iodjSVf8U1J7KYc/article/details/83189770

 

官網

https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md

---

 

1.

 pip install scrapydweb

2.

scrapydweb

會在 運行 指令的文件夾 下 新建 配置文件

3.

vim 

scrapydweb配置文件在第一次執行`scrapydweb`命令的當前目錄生成，文件名scrapydweb_settings_v8.py

1.啟用HTTP基本認證（可選）：
ENABLE_AUTH = True
USERNAME = 'username'
PASSWORD = 'password'

 

---

nohup scrapydweb >> log_scweb.out &

 

 

---

 

pip install logparser 

按 裝 后 用命令 logparser 啟動

如果 scrapyd 的 log 目錄 修改了  用 logparser -dir /scrapyd/logs/    啟動

 

• 如果在同一台主機運行 Scrapyd 和 ScrapydWeb，建議設置 SCRAPYD_LOGS_DIR 和 ENABLE_LOGPARSER，則啟動 ScrapydWeb 時將自動運行 LogParser，該子進程通過定時增量式解析指定目錄下的 Scrapy 日志文件以加快 Stats 頁面的生成，避免因請求原始日志文件而占用大量內存和網絡資源。

• Set 'ENABLE_LOGPARSER = True' to run LogParser as a subprocess at startup 

 

 

 

---

 

啟動 

nohup logparser -dir /scrapyd/logs/ >> log_logparser.out &