MySQL数据库主从同步原理及环境部署


一、MySQL主从复制的作用

1、数据热备:作为后备数据库,主数据库服务器故障后,可切换到从数据库继续工作,避免数据丢失。

2、架构扩展:业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能。

3、读写分离:使数据库能支撑更大的并发。在报表中尤其重要。由于部分报表sql语句非常的慢,导致锁表,影响前台服务。如果前台使用master,报表使用slave,那么报表sql将不会造成前台锁,保证了前台速度。

二、MySQL主从复制的流程

1、主库db的更新事件(update、insert、delete)被写到binlog

2、从库发起连接,连接到主库

3、此时主库创建一个binlog dump thread线程,把binlog的内容发送到从库

4、从库启动之后,创建一个I/O线程,读取主库传过来的binlog内容并写入到relay log.

5、还会创建一个SQL线程,从relay log里面读取内容,从Exec_Master_Log_Pos位置开始执行读取到的更新事件,将更新内容写入到slave的db

 

补充:由上述可知

对于每一个主从复制的连接,都有三个线程

1)inlog输出线程:每当有从库连接到主库的时候,主库都会创建一个线程然后发送binlog内容到从库。

      在从库里,当复制开始的时候,从库就会创建两个线程进行处理:

2)从库I/O线程:当START SLAVE语句在从库开始执行之后,从库创建一个I/O线程,该线程连接到主库并请求主库发送binlog里面的更新记录到从库上。从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件,其中包括relay log文件。

3)从库的SQL线程:从库创建一个SQL线程,这个线程读取从库I/O线程写到relay log的更新事件并执行。

三、MySQL主从同步环境部署

3.1、环境规划

安装MySQL主从同步前,先分别安装两台单机版MySQL,参见:https://www.cnblogs.com/wuxinchun/p/15194008.html

主机   系统 IP 账号 密码 服务
Master   Centos7.4  10.3.104.52 master 123456 MySQL5.7
Slave Centos7.4  10.3.104.56 slave 123456 MySQL5.7

 

1、master数据库的my.cnf配置(Master主服务器上操作)

[root@docker01 ~]# vim /etc/my.cnf
#数据库唯一ID,主从的标识号绝对不能重复。
server-id=1

#开启bin-log,并指定文件目录和文件名前缀
log-bin=mysql-bin

#需要同步的数据库。如果是多个同步库,就以此格式另写几行即可。如果不指明对某个具体库同步,就去掉此行,表示同步所有库(除了ignore忽略的库) 
#binlog-do-db=kevin

#不同步mysql系统数据库。如果是多个不同步库,就以此格式另写几行;也可以在一行,中间逗号隔开
binlog-ignore-db = mysql,information_schema

#每次写入时都将binlog与硬盘同步
sync_binlog = 1

#binlog日志格式,mysql默认采用statement,建议使用mixed
binlog_format = MIXED

#binlog日志文件
log-bin =/var/lib/mysql/mysql-bin.log

#binlog过期清理时间
expire_logs_days = 7

#binlog每个日志文件大小
max_binlog_size = 100m

#binlog缓存大小
binlog_cache_size = 4m

#最大binlog缓存大小
max_binlog_cache_size = 512m

 

 

 

2、slave数据库的my.cnf配置(Slave从服务器上操作)

[root@docker02 ~]# vim /etc/my.cnf
#数据库唯一ID,主从的标识号绝对不能重复。
server-id=2

#开启bin-log,并指定文件目录和文件名前缀
log-bin=mysql-bin

#需要同步的数据库。如果是多个同步库,就以此格式另写几行即可。如果不指明对某个具体库同步,就去掉此行,表示同步所有库(除了ignore忽略的库)
#binlog-do-db=kevin 

#不同步mysql系统数据库。如果是多个不同步库,就以此格式另写几行;也可以在一行,中间逗号隔开
binlog-ignore-db = mysql,information_schema

#每次写入时都将binlog与硬盘同步
sync_binlog = 1

#binlog日志格式,mysql默认采用statement,建议使用mixed
binlog_format = MIXED

#binlog日志文件
log-bin =/var/lib/mysql/mysql-bin.log

#binlog过期清理时间
expire_logs_days = 7

#binlog每个日志文件大小
max_binlog_size = 100m

#binlog缓存大小
binlog_cache_size = 4m

#最大binlog缓存大小
max_binlog_cache_size = 512m

 

 

3、master创建用于slave机器获取master机器上binlog文件的账号(Master主服务器上操作)

mysql> grant replication slave,replication client on *.* to slave@'10.3.104.56' identified by "123456";    //IP为slave地址
Query OK, 0 rows affected (0.02 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

 

 

4、slave库同步master库的命令如下(即不需要跟master_log_file 和 master_log_pos=120,slave服务器上操作):

mysql> stop slave; 
mysql> change master to master_host = '10.3.104.52', master_port = 3306, master_user ='slave', master_password ='123456';
mysql> start slave;
mysql> show slave status \G;
Slave_IO_Running: Yes Slave_SQL_Running: Yes

 注:上述已完成单向主从同步

 

3.2、验证单向数据同步性

1)在master上创建表并插入数据

mysql> create database test;
Query OK, 1 row affected (0.00 sec)
mysql> use test;
Database changed
mysql> create table testtable(id int,name varchar(20));
Query OK, 0 rows affected (0.02 sec)
mysql> insert into testtable values (1,'zhangsan');
Query OK, 1 row affected (0.01 sec)
mysql> select * from testtable;
+------+----------+
| id   | name     |
+------+----------+
|    1 | zhangsan |
+------+----------+
1 row in set (0.00 sec)

 

 

2)slave库检查数据

mysql> select * from test.testtable;
+------+----------+
| id   | name     |
+------+----------+
|    1 | zhangsan |
+------+----------+
1 row in set (0.00 sec)

 注:说明数据已经同步到slave

 

 

3.3、双向同步配置验证

1)slave创建用于master机器获取slave机器上binlog文件的账号(slave服务器上操作)

mysql> grant replication slave,replication client on *.* to master@'10.3.104.52' identified by "123456";   //IP为master地址
Query OK, 0 rows affected (0.02 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

 

2)master库同步slave库的命令如下(master服务器上操作)

mysql> stop slave; 
mysql> change master to master_host = '10.3.104.56', master_port = 3306, master_user ='master', master_password ='123456';
mysql> start slave;
mysql> show slave status \G;
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

 注:上述双向同步已配置完成

1)如果单向同步就关闭另一端stop slave;
2)如果双向同步在两个节点分别执行start slave

 

补充:mysql主从同步延时分析

mysql的主从复制都是单线程的操作,主库对所有DDL和DML产生的日志写进binlog,由于binlog是顺序写,所以效率很高,slave的sql thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的,不是顺序,所以成本要高很多,另一方面,由于sql thread也是单线程的,当主库的并发较高时,产生的DML数量超过slave的SQL thread所能处理的速度,或者当slave中有大型query语句产生了锁等待,那么延时就产生了。

解决方案:

1.业务的持久化层的实现采用分库架构,mysql服务可平行扩展,分散压力。

2.单个库读写分离,一主多从,主写从读,分散压力。这样从库压力比主库高,保护主库。

3.服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。

4.不同业务的mysql物理上放在不同机器,分散压力。

5.使用比主库更好的硬件设备作为slave,mysql压力小,延迟自然会变小。

6.使用更加强劲的硬件设备

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM