CentOS部署pyspider

0x00 環境

阿里雲ECS雲服務器

CPU：1核

內存：2G

操作系統：Centos 7.3 x64

地域：華北 2（華北 2 可用區 A）

系統盤：40G

0x01 安裝依賴

yum install gcc gcc-c++ python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

0x02 升級 pip

pip install --upgrade pip

0x03 用 pip 安裝 pyspider

pip install pyspider

0x04 安裝 mysql

mysql安裝及配置過程可以查看
nginx + php + mysql + wordpress 搭建簡單站點 安裝及配置過程

0x05 安裝 redis 並啟動

yum install redis
pip install redis

systemctl start redis

0x06 安裝 mysql-connector

pip install mysql-connector

0x07 編輯 pyspider 配置文件

vim /etc/pyspider/pyspider.conf.json

內容如下

其中mysqlUser為mysql用戶名，mysqlPasswd為mysql密碼，webuiUser為登錄控制台的用戶名，webuiPasswd為登陸控制台的密碼

{
  "taskdb": "mysql+taskdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/taskdb",
  "projectdb": "mysql+projectdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/projectdb",
  "resultdb": "mysql+resultdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/resultdb",
  "message_queue": "redis://127.0.0.1:6379/db",
  "webui": {
    "username": "webuiuser",
    "password": "webuipasswd",
    "need-auth": true
  }
}

0x08 啟動 pysqpider

pyspider -c /etc/pyspider/pyspider.conf.json

后台運行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

也可以將以上命令寫進bashrc里，直接使用pyspider命令在后台啟動

vim .bashrc

添加如下內容

alias pyspider = 'nohup pyspider -c /etc/pyspider/pyspider.conf.json &'

0x09 訪問控制台

地址:5000