Docker搭建Keepalived+Haproxy+PXC集群

准備環境：

　　1.4台CentOS7主機

　　2.主機名對應的IP地址：

　　　　docker1　　192.168.113.21

　　　　docker2　　192.168.113.22

　　　　docker3　　192.168.113.23

　　　　docker4　　192.168.113.24

 

操作步驟：

1.4台主機上關閉防火牆，安裝並啟動Docker服務

2.在docker1主機上搭建Docker Swarm集群，並創建共享網絡。

　值得一提的是，我們並不適用Swarm管理容器的技術，僅僅通過共享網絡來實現容器跨主機通信，自己搭建Keepalived+Haproxy實現高可用和負載均衡集群

## docker1主機上的操作
docker swarm init
#獲取以manager身份加入集群的token
docker swarm join-token manager
#獲取以worker身份加入集群的token
docker swarm join-token worker

## 然后docker2、docker3執行worker身份加入集群的命令
## docker4執行manager身份加入集群的命令

## 在docker1主機上創建共享網絡
docker network create -d overlay --attachable swarm_test

3.創建存儲卷，啟動容器

##docker1主機
# 創建存儲卷
docker volume craete v1
docker volume create v2
docker volume create backup
# 拉取鏡像並改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 啟動第一個容器
docker run -d -p 3306:3306 -v v1:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A --privileged --name=node1 --net=swarm_test pxc
# 啟動第二個pxc容器
docker run -d -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -v v2:/var/lib/mysql -v backup:/data --privileged --name=node2 --net=swarm_test -e CLUSTER_JOIN=node1 pxc

##docker2主機
#創建存儲卷
docker volume create v3
docker volume create backup
# 拉取鏡像並改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 啟動容器
docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v3:/var/lib/mysql -v backup:/data --privileged --name=node3 --net=swarm_test pxc


##docker3主機
#創建存儲卷
docker volume create v4
docker volume create backup
# 拉取鏡像並改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 啟動容器
docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v4:/var/lib/mysql -v backup:/data --privileged --name=node4 --net=swarm_test pxc

##docker4主機
# 創建存儲卷
docker volume create v5
docker volume create backup
# 拉取鏡像並改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 啟動容器
docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v5:/var/lib/mysql -v backup:/data --privileged --name=node5 --net=swarm_test pxc

4.docker1和docker4主機部署Haproxy容器，兩台機器的操作都一樣，這里就只寫一台的操作步驟了

//查看pxc容器信息，確定容器的ip,其他幾台都這樣查看，然后寫到下面的配置文件中集群設置中
docker inspect node1

//准備haproxy.cfg配置文件,這里我將它放在/root/soft/haproxy目錄下
vim /root/soft/haproxy/haproxy.cfg
global
    #工作目錄
    chroot /usr/local/etc/haproxy
    #日志文件，使用rsyslog服務中local5日志設備（/var/log/local5），等級info
    log 127.0.0.1 local5 info
    #守護進程運行
    daemon

defaults
    log     global
    mode    http
    #日志格式
    option  httplog
    #日志中不記錄負載均衡的心跳檢測記錄
    option  dontlognull
    #連接超時（毫秒）
    timeout connect 5000
    #客戶端超時
    timeout client  5000
    #服務器超時
　　 timeout server  50000

#監控界面
listen  admin_stats
    #監控界面的訪問的IP和端口
    bind    0.0.0.0:8888
    #訪問協議
    mode    http
    #URI相對地址
    stats uri   /dbs
    #統計報告格式'
    stats realm Global\ statistics
    #登陸帳戶信息
    stats auth  admin:123qqq...A

#數據庫負載均衡
listen  proxy-mysql
    #訪問的IP和端口
    bind 0.0.0.0:3306
    #網絡協議
    mode tcp
    #負載均衡算法（輪詢算法）
　　 #輪詢算法：roundrobin
    #權重算法：static-rr
    #最少連接算法：leastconn
    #請求源IP算法：source
    balance roundrobin
    #日志格式
    option  tcplog
    #MySQL中創建一個沒有權限的haproxy用戶，密碼為空。Haproxy使用這個賬戶對MySQL>數據庫心跳檢測
    option  mysql-check user haproxy
    server  MySQL_1 10.0.0.2:3306 check weight 1 maxconn 2000
    server  MySQL_2 10.0.0.3:3306 check weight 1 maxconn 2000
    server  MySQL_3 10.0.0.4:3306 check weight 1 maxconn 2000
    server  MySQL_4 10.0.0.5:3306 check weight 1 maxconn 2000
    server  MySQL_5 10.0.0.6:3306 check weight 1 maxconn 2000
    #使用keepalive檢測死鏈
    option  tcpka


//拉取並啟動容器
docker run -d -p 4001:8888 -p 4002:3306 -v /root/soft/haproxy:/usr/local/etc/haproxy --name h1 --privileged --net=swarm_test --ip 10.0.0.7 haproxy

//進入容器，加載映射到容器中的配置文件
docker exec -it h1 bash
root@d67237ec2c6a:/# haproxy -f /usr/local/etc/haproxy

5.進入Haproxy容器中，搭建keepalived服務。兩台主機的配置依舊是一樣，keepalived.conf配置文件都是一樣，搶占虛擬ip。所以這里就行寫一台的配置

docker exec -it h1 bash

# 因為haproxy容器環境是ubutun系統，我們使用ubutun命令
# 將系統的鏡像更換為國內的鏡像源
mv /etc/apt/sources.list apt-sources-list.ba
cat << EOF > /etc/apt/sources.list
> deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse12345678910
> EOF

#更新鏡像源
apt-get update
#安裝keepalived
apt-get install keepalived
#安裝vim
apt-get install vim

#修改keepalived配置文件
vim /etc/keepalived/keepalived.conf
vrrp_instance  VI_1 {
    state  MASTER
    interface  eth0
    virtual_router_id  51
    priority  100
    advert_int  1
    authentication {
        auth_type  PASS
        auth_pass  123456
    }
    virtual_ipaddress {
        10.0.0.10
    }
}


#啟動keepalived
service keepalived restart

#下載ping和ifconfig工具，便於測試
apt-get install inetutils-ping
apt-get install net-tools

# 測試
ping 10.0.0.10

6.后續的配置，就只是需要后端集群訪問10.0.0.10這個虛擬ip，來實現訪問pxc集群。當然后端集群也得是在swarm_test這個網段上的