docker+mysql 構建數據庫的主從復制
在最近的項目中,決定將項目改造成數據庫讀寫分離的架構,后續會有博文詳細講述我的開發改造,本文主要記錄我是如何一步步的構建數據庫的主從復制。
為什么使用docker
- 資源有限
- 虛擬機搭建對機器配置有要求,並且安裝mysql步驟繁瑣
- 一台機器上可以運行多個Docker容器
- Docker容器之間相互獨立,有獨立ip,互不沖突
- Docker使用步驟簡便,啟動容器在秒級別
- 最主要是窮,沒有多的服務器供我用
首先拉取docker鏡像,我這里直接拉取最新的mysql
docker pull mysql
根據拉取的對象,分別啟動兩個容器:
Master:
docker run -d -p 3339:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 mysql
Slave
docker run -d -p 3340:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 mysql
之后可以使用docker ps
命令查看正在運行的容器
接下來開始寫配置文件
配置Master(主)
docker exec -it mysql-master /bin/bash
進入到master容器內vim /etc/mysql/my.cnf
編輯mysql的配置文件,一般會出現如下錯誤:
bash: vi: command not found
說明該鏡像還沒有安裝該命令,這時只需要我們使用 apt-get install vim
即可,當然了,敲完這個命令可能出現如下圖所示的錯誤,原因是包沒有更新,我們只需要執行 apt-get update
,之后再執行上述命令即可。
3. 然后我們就可以使用vim編輯my.cnf,在my.cnf中添加如下配置
[mysqld]
## 同一局域網內注意要唯一
server-id=100
## 開啟二進制日志功能,可以隨便取(關鍵)
log-bin=mysql-bin
4.下一步在Master數據庫創建數據同步用戶,首先使用mysql -u root -p123456
進入到mysql客戶端中,執行下述語句,授予用戶 slave REPLICATION SLAVE權限和REPLICATION CLIENT權限,用於在主從庫之間同步數據。
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
4.退出容器(使用ctl + q + p同時多按幾次即可退出),執行docker restart mysql-master
重啟容器,然后再次進入到容器的mysql服務之中,
5.執行 show master status
查看master狀態,記住這兩個值
配置Master(從)
和配置Master(主)一樣,在Slave配置文件my.cnf中添加如下配置:
[mysqld]
## 設置server_id,注意要唯一
server-id=101
## 開啟二進制日志功能,以備Slave作為其它Slave的Master時使用
log-bin=mysql-slave-bin
## relay_log配置中繼日志
relay_log=edu-mysql-relay-bin
鏈接Master(主)和Slave(從)
在Slave中進入到mysql客戶端,執行
change master to master_host='172.17.0.2',master_user='slave',master_password='123456',master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=2830, master_connect_retry=30;
命令說明:
master_host: Master的地址,指的是容器的獨立ip,可以通過docker inspect --format='{{.NetworkSettings.IPAddress}}' 容器名稱|容器id查詢容器的ip
master_port: Master的端口號,指的是容器的端口號
master_user:用於數據同步的用戶
master_password:用於同步的用戶的密碼
master_log_file:指定 Slave 從哪個日志文件開始復制數據,即上文中提到的 File 字段的值
master_log_pos:從哪個 Position 開始讀,即上文中提到的 Position 字段的值
master_connect_retry:如果連接失敗,重試的時間間隔,單位是秒,默認是60秒
在Slave 中的mysql終端執行 show slave status \G;
用於查看主從同步狀態。
了解Mysql主從復制的都知道這兩個線程的作用,IO線程主要用來鏈接主節點,簡單來說就是撈數據用到,SQL線程將撈過來的數據進行解析並運行,這樣主從之間的數據就進行了同步。
正常情況下,圖中SlaveIORunning 和 SlaveSQLRunning 都是No,因為我們還沒有開啟主從復制過程。使用start slave
開啟主從復制過程,然后再次查詢主從同步狀態show slave status \G;
。
當圖中兩個線程均是yes的時候說明啟動正常,至此配置結束,但是,一般會出現以下的情況:
mysql> show slave status \G
*************************** 1. row ***************************
Slave_IO_State: Connecting to master
Master_Host: 192.168.1.3
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 734
Relay_Log_File: mysql-relay-bin.000002
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000002
Slave_IO_Running: Connecting
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 734
Relay_Log_Space: 155
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 2061
Last_IO_Error: error connecting to master 'replication@192.168.1.3:3306' - retry-time: 60 retries: 12
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 0
Master_UUID:
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp: 190129 14:09:22
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Slave_IO_Running線程一直顯示正在連接狀態,錯誤碼是2061,是因為我們拉取的驚醒默認是最新的,也就是Mysql8.0,MySQL8.0默認指定使用需要SSL的身份驗證插件caching_sha2_password
,而我們在創建同步復制賬號時候沒有指定REQUIRE SSL。為了降低這件事情的復雜性,我們選擇了社區的解決方法,選擇繞過SSL插件的驗證,改為mysql_native_password
驗證來做同步復制。
解決:
重新創建MySQL復制賬號,創建賬號時指定身份驗證方法
mysql> CREATE USER 'slave'@'%' IDENTIFIED WITH 'mysql_native_password' BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
mysql> FLUSH PRIVILEGES;
此時再查看該用戶的密碼加密方式,plugin為mysql_native_password
mysql> select user,host,plugin,authentication_string from user \G
*************************** 1. row ***************************
user: repl
host: 192.168.1.3
plugin: mysql_native_password
authentication_string: *47C25685DDCE2754F1175C38F437961FF6C5AC53
再次設置同步成功
測試主從復制
我們可以在master上創建一個數據庫,然后檢查slave是否也創建了該庫。