docker搭建mysql集群

目錄

• 一、集群方案
• 二、服務器配置
• 三、安裝PXC集群
• 四、Haproxy負載均衡
• 五、訪問測試
• 六、節點宕機或重啟
• 七、參考

一、集群方案

1、Replication

• 速度快，但僅能保證弱一致性，適用於保存價值不高的數據，比如日志、帖子、新聞等。
• 采用master-slave結構，在master寫入會同步到slave，能從slave讀出；但在slave寫入無法同步到master。
• 采用異步復制，master寫入成功就向客戶端返回成功，但是同步slave可能失敗，會造成無法從slave讀出的結果
• 需要該方案的請查看我的另一篇文章：https://www.cnblogs.com/lvlinguang/p/15205389.html

2、PXC (Percona XtraDB Cluster)

• 速度慢，但能保證強一致性，適用於保存價值較高的數據，比如訂單、客戶、支付等。
• 數據同步是雙向的，在任一節點寫入數據，都會同步到其他所有節點，在任何節點上都能同時讀寫。
• 采用同步復制，向任一節點寫入數據，只有所有節點都同步成功后，才會向客戶端返回成功。事務在所有節點要么同時提交，要么不提交。

二、服務器配置

1、服務器

• 服務器一：192.168.3.13:3310、192.168.3.13:3311、192.168.3.13:3312
• 服務器二：192.168.3.14:3310、192.168.3.14:3311、192.168.3.14:3312

2、開放以上端口，用於單節點訪問

# 用於容器網絡發現
firewall-cmd --zone=public --add-port=3310/tcp --permanent
firewall-cmd --zone=public --add-port=3311/tcp --permanent
firewall-cmd --zone=public --add-port=3312/tcp --permanent

firewall-cmd --reload

3、配置ntp服務，確保時間同步

 [root@localhost ~]# yum -y install ntp ntpdate
 [root@localhost ~]# ntpdate 0.asia.pool.ntp.org
 [root@localhost ~]# hwclock --systohc
 [root@localhost ~]# date
 2021年 10月 20日 星期三 12:54:23 CST

4、創建Docker Swarm集群

• 開放以下端口

# 用於集群管理通信的TCP端口
firewall-cmd --zone=public --add-port=2377/tcp --permanent

# 用於容器覆蓋網絡
firewall-cmd --zone=public --add-port=4789/tcp --permanent
firewall-cmd --zone=public --add-port=4789/udp --permanent

# 用於容器網絡發現
firewall-cmd --zone=public --add-port=7946/tcp --permanent
firewall-cmd --zone=public --add-port=7946/udp --permanent

firewall-cmd --reload

• 創建swarm集群

docker swarm init

將里面的值復制出來，在其它服務器上分別執行，如下圖

• swarm基礎操作（擴展）

# 查看swarm集群的所有節點(只能在主節點上查詢)
docker node ls

# 刪除一個節點
docker node rm -f [節點的ID]

# 解散swarm集群
1、在manager節點上刪除所有worker節點
2、強制刪除自己，執行：docker swarm leave -f
3、在各個worker節點主機上執行：docker swarm leave

5、創建Docker虛擬網絡

• 出於安全考慮，給PXC集群創建Docker內部虛擬網絡，用於PXC集群獨立使用

# 創建虛擬網段
docker network create -d overlay --subnet=10.8.0.0/24 --attachable swarm_mysql

# 查看虛擬網絡
docker network inspect swarm_mysql

#所有虛擬網絡
docker network ls

# 刪除網段
# docker network rm swarm_mysql
 

三、安裝PXC集群

1、安裝鏡像

docker pull percona/percona-xtradb-cluster:5.7.33

2、重命名鏡像（縮短鏡像名稱）

docker tag percona/percona-xtradb-cluster:5.7.33 pxc

# 移除原鏡像
docker rmi percona/percona-xtradb-cluster:5.7.33

3、創建數據卷（pxc無法直接存取宿組機的數據，所以創建三個docker數據卷）

docker volume create v1
docker volume create v2
docker volume create v3

# 查看數據卷位置
#docker inspect v1

# 刪除數據卷
#docker volume rm v1

4、創建容器

• 第一個節點創建完成之后，需要等1分鍾左右才能創建后面的節點。可以通過navicat連接第一個節點測試下，可以連接就說明可以了

#第一台服務器


#創建第1個MySQL節點
docker run -d --name=mysql-node1 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -v v1:/var/lib/mysql --net=swarm_mysql --ip 10.8.0.2 pxc

#創建第2個MySQL節點
docker run -d --name=mysql-node2 -p 3311:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v2:/var/lib/mysql --net=swarm_mysql --ip 10.8.0.3 pxc

#創建第3個MySQL節點
docker run -d --name=mysql-node3 -p 3312:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v3:/var/lib/mysql --net=swarm_mysql --ip 10.8.0.4 pxc


#第二台服務器


#創建第4個MySQL節點
docker run -d --name=mysql-node4 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v1:/var/lib/mysql --net=swarm_mysql --ip 10.8.0.5 pxc

#創建第5個MySQL節點
docker run -d --name=mysql-node5 -p 3311:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v2:/var/lib/mysql --net=swarm_mysql --ip 10.8.0.6 pxc

#創建第6個MySQL節點
docker run -d --name=mysql-node6 -p 3312:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v3:/var/lib/mysql --net=swarm_mysql --ip 10.8.0.7 pxc

5、查看虛擬網絡，觀察各節點ip是否配置進去了

docker network inspect swarm_mysql

6、測試集群

• 通過navicat連接任意一個數據庫，進行增、刪、改操作操作，觀察其它庫是否進行同步操作

四、Haproxy負載均衡

• 雖然搭建了集群,但是不使用數據庫負載均衡,單節點處理所有請求，負載高，性能差，如下圖

• 使用Haproxy做負載均衡，可以將請求均勻地發送給每個節點，單節點負載低，性能好，如下圖

1、安裝haproxy鏡像

docker pull haproxy:2.3.13

2、新建目錄

mkdir -p /home/apps/haproxy

3、新建Haproxy配置文件

vim /home/apps/haproxy/haproxy.cfg

# 增加以下內容

global
    #工作目錄
    chroot /usr/local/etc/haproxy
    #日志文件，使用rsyslog服務中local5日志設備（/var/log/local5），等級info
    log 127.0.0.1 local5 info
    #守護進程運行
    daemon

defaults
    log global
    mode    http
    #日志格式
    option  httplog
    #日志中不記錄負載均衡的心跳檢測記錄
    option  dontlognull
    #連接超時（毫秒）
    timeout connect 5000
    #客戶端超時（毫秒）
    timeout client  50000
    #服務器超時（毫秒）
    timeout server  50000

#監控界面
listen  admin_stats
    #監控界面的訪問的IP和端口
    bind  0.0.0.0:8888
    #訪問協議
    mode        http
    #URI相對地址
    stats uri   /dbs
    #統計報告格式
    stats realm     Global\ statistics
    #登錄帳戶信息
    stats auth  admin:123456
#數據庫負載均衡
listen  proxy-mysql
    #訪問的IP和端口
    bind  0.0.0.0:3306
    #網絡協議
    mode  tcp
    #負載均衡算法（輪詢算法）
    #輪詢算法：roundrobin
    #權重算法：static-rr
    #最少連接算法：leastconn
    #請求源IP算法：source
    balance  roundrobin
    #日志格式
    option  tcplog
    #在MySQL中創建一個沒有權限的haproxy用戶，密碼為空。Haproxy使用這個賬戶對MySQL數據庫心跳檢測
    option  mysql-check user haproxy
    server  mysql-node1 10.8.0.2:3306 check weight 1 maxconn 2000
    server  mysql-node2 10.8.0.3:3306 check weight 1 maxconn 2000
    server  mysql-node3 10.8.0.4:3306 check weight 1 maxconn 2000
    server  mysql-node4 10.8.0.5:3306 check weight 1 maxconn 2000
    server  mysql-node5 10.8.0.6:3306 check weight 1 maxconn 2000
    server  mysql-node6 10.8.0.7:3306 check weight 1 maxconn 2000
    #使用keepalive檢測死鏈
    option  tcpka

3、在數據庫集群中創建空密碼、無權限用戶haproxy，來供Haproxy對MySQL數據庫進行心跳檢測

# 進入容器
docker exec -it mysql-node1 /bin/bash

# 登錄mysql
mysql -uroot -p123456

# 創建用戶
create user 'haproxy'@'%' identified by '';

4、創建第1個Haproxy負載均衡服務器

docker run -it -d --name haproxy-node1 -p 4001:8888 -p 4002:3306 --restart always --privileged=true -v /home/apps/haproxy:/usr/local/etc/haproxy --net=swarm_mysql haproxy:2.3.13

5、啟動Haproxy

# 進入容器
docker exec -it haproxy-node1 /bin/bash

# 啟動haproxy
haproxy -f /usr/local/etc/haproxy/haproxy.cfg

五、訪問測試

1、頁面訪問

• ip:4001/dbs，在配置文件中定義有用戶名admin，密碼123456

2、數據庫訪問

• 使用navacat訪問代理集群，端口為4002

3、測試docker掛掉

• 分別下線第二和第四個節點，通過訪問其它節點或代理節點都能正常使用

六、節點宕機或重啟

1、從節點宕機后的操作

• 如果指定的主節點沒有宕機，直接啟動從節點容器，數據會自動同步

2、主節點宕機后的操作

• 【重啟用此操作】如果主節點是最后一個離開集群的（說明數據是最新的），只要重啟主節點即可，主節點的啟動需要設置safe_to_bootstrap: 1 才能啟動

# 修改grastate.dat
vim /var/lib/docker/volumes/v1/_data/grastate.dat

# 將以下值改為1
safe_to_bootstrap: 1

# 啟動主節點
docker start mysql-node1

• 如果其他節點還在運行中，主節點掛掉了（說明主節點的數據已經不是最新的了），需要刪除主節點容器，原來的數據卷無需刪除（繼續使用，避免數據丟失），然后再以從節點方式加入集群，注意加參數 "-e CLUSTER_JOIN=mysql-node2"，指定可用的從節點啟動

docker run -d --name=mysql-node1 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node2 -v v1:/var/lib/mysql --net=net1 --ip 172.18.0.2 pxc

3、另一種啟動方式，刪除集群容器和數據卷中的grastate.dat文件，重新創建

• 該方案會以主節點的數據恢復，如果主節點數據不是最新的，會造成數據丟失

# 移除容器
docker rm mysql-node1 mysql-node2 mysql-node3 mysql-node4 mysql-node5

# 移除數據卷中的grastate.dat文件
rm -rf /var/lib/docker/volumes/v1/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v2/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v3/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v4/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v5/_data/grastate.dat


# 按上面的方式重新創建集群容器

七、參考

• https://www.cnblogs.com/wanglei957/p/11819547.html
• https://cloud.tencent.com/developer/article/1776928
• Swarm 集群管理：https://www.runoob.com/docker/docker-swarm.html
• 節點宕機：https://www.cnblogs.com/wangbiaohistory/p/14638935.html