centos7+docker 安裝和部署crawlab分布式爬蟲平台,並使用docker-compose管理docker


1.先決條件centos7+docker最新版本

 sudo yum updat

2.配置一下鏡像源,創建/etc/docker/daemon.conf文件,在其中輸入如下內容

{
 "registry-mirrors": ["https://registry.docker-cn.com"]
}

3.啟動docker命令:

systemctl start docker 

重啟docker服務:

service docker restart

4.查看和下載Crawlab的鏡像命令 :

docker search crawlab                   #(查找Crawlab鏡像)
docker pull tikazyq/crawlab:latest       #(下載Crawlab鏡像)

5.創建docker組:

sudo groupadd docker    (刪除docker這個用戶:userdel -r docker)

6.centos7查看所有用戶:

cut -d : -f 1 /etc/group

7.將您的用戶添加到該docker用戶組,命令:

sudo usermod -aG docker 用戶名

8.查看“docker”組下的所有用戶,命令:

  grep 'docker' /etc/group

9.Docker Compose安裝

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

稍等片刻,有點慢!!!!

賦權:

sudo chmod +x /usr/local/bin/docker-compose

查看版本:

docker-compose --version

10.查找docker-compose.yml文件位置:

find / -name "docker-compose.yml*"

(會出現find: ‘/run/user/1000/gvfs’: 權限不夠,執行:umount /run/user/1000/gvfsrm -rf /run/user/1000/gvfs,再執行就不會出錯了!!!

11.圖中:

/var/lib/docker/overlay2/50df4de9bf340501cade27650953ad983948b10e13bbe931710ef090ab1a4602/diff/app/docker-compose.yml-----------是我的路徑

cd 到app目錄就可以了

vim docker-compose.yml   #編輯

注意: 新版鏡像的CRAWLAB_API_ADDRESS是這樣的: CRAWLAB_API_ADDRESS: "http://192.168.157.128:8000"

12.啟動 Crawlab

​ cd 進入到docker-compose.yml 所在文件目錄下

​ 才能運行:docker-compose up 集群啟動容器,否則找不到文件

查看woker容器日志命令:docker-compose logs worker

正常會啟動四個容器:master、woker、redis、mongo

第一次次啟動會下載安裝並配置節點和數據庫(redis 和mongodb)

img

13.Crawlab

瀏覽器訪問 :http://ip:8080 用戶名密碼是 admin/admin

第一次訪問沒問題,但是第二次啟動會報各種錯,博主正在研究中-----持續更新中!!!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM