爬蟲管理平台以及wordpress本地搭建

學習目標：

各爬蟲管理平台了解
- scrapydweb
- gerapy
- crawlab
各爬蟲管理平台的本地搭建
Windows下的wordpress搭建

爬蟲管理平台了解:

scrapydweb：

用於Scrapyd實施管理的web應用程序，支持Scrapy日志分析和可視化

github地址：https://github.com/my8100/scrapydweb.git

gerapy：

基於Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬蟲管理框架

相關的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html

該項目github地址：https://github.com/Gerapy/Gerapy.git

crawlab：

基於Golang的分布式爬蟲管理平台，支持多種編程語言以及多種爬蟲框架.

文檔地址：https://docs.crawlab.cn/zh/

GitHub地址：https://github.com/crawlab-team/crawlab.git

注意：前兩個框架的搭建基於Scrapyd，如果不知道怎么配置可以看我之前寫的博客：https://www.cnblogs.com/xbhog/p/13336651.html

爬蟲管理平台的本地搭建：

scrapydweb搭建：
- 安裝：pip install scrapydweb -i https://pypi.doubanio.com/simple
- 先打開scrapyd（命令行輸入）
- 再輸入scrapydweb
- 界面效果：
- 部署安裝網上教程很多，不多贅述
gerapy
- 相關的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html
crawlab：（配置安裝官方給的很詳細，這里簡單說下）
- 首先把代碼從遠程倉庫clone下來：git clone 地址/復制地址到pycharm中
- ```
#官方推薦幾種安裝方式：
Docker（入門簡單，推薦）
Kubernetes（多機器部署，推薦）
直接部署（理解原理）
開發模式（開發調試）
多節點部署
#個人選擇docker,該項目配置環境過多，怕給本地造成沖突
```
- docker的安裝：
  - 安裝地址：https://www.docker.com/products/docker-desktop
  - 安裝環境：本地虛擬化以及hyper-V需要打開，如圖所示
- 默認安裝即可
- 相關詳細鏈接（菜鳥教程：https://www.runoob.com/docker/windows-docker-install.html）
- 安裝docker-compose包：pip install docker-compose
- 在根目錄下測試：
```
docker-compose ps
正常為空
Name   Command   State   Ports
------------------------------
--------------------------------
```
- 安裝並啟動：docker-compose up -d
- http://127.0.0.1:8080/#/login進入即可