簡介:什么是主從復制,如何實現讀寫分離,看這篇你就懂了!
思維導圖
文章已收錄到我的Github精選,歡迎Star : https://github.com/yehongzhi/learningSummary
前言
在很多項目,特別是互聯網項目,在使用MySQL時都會采用主從復制、讀寫分離的架構。
為什么要采用主從復制讀寫分離的架構?如何實現?有什么缺點?讓我們帶着這些問題開始這段學習之旅吧!
為什么使用主從復制、讀寫分離
主從復制、讀寫分離一般是一起使用的。目的很簡單,就是 為了提高數據庫的並發性能 。你想,假設是單機,讀寫都在一台MySQL上面完成,性能肯定不高。如果有三台MySQL,一台mater只負責寫操作,兩台salve只負責讀操作,性能不就能大大提高了嗎?
所以主從復制、讀寫分離就是為了數據庫能支持更大的並發。
隨着業務量的擴展、如果是單機部署的MySQL,會導致I/O頻率過高。采用 主從復制、讀寫分離可以提高數據庫的可用性 。
主從復制的原理
①當Master節點進行insert、update、delete操作時,會按順序寫入到binlog中。
②salve從庫連接master主庫,Master有多少個slave就會創建多少個binlog dump線程。
③當Master節點的binlog發生變化時,binlog dump 線程會通知所有的salve節點,並將相應的binlog內容推送給slave節點。
④I/O線程接收到 binlog 內容后,將內容寫入到本地的 relay-log。
⑤SQL線程讀取I/O線程寫入的relay-log,並且根據 relay-log 的內容對從數據庫做對應的操作。
如何實現主從復制
我這里用三台虛擬機(Linux)演示,IP分別是104(Master),106(Slave),107(Slave)。
預期的效果是一主二從,如下圖所示:
Master配置
使用命令行進入mysql:
mysql -u root -p
接着輸入root用戶的密碼(密碼忘記的話就網上查一下重置密碼吧~),然后創建用戶:
//192.168.0.106是slave從機的IP
GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.106' identified by 'Java@1234'; //192.168.0.107是slave從機的IP GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.107' identified by 'Java@1234'; //刷新系統權限表的配置 FLUSH PRIVILEGES;
創建的這兩個用戶在配置slave從機時要用到。
接下來在找到mysql的配置文件/etc/my.cnf,增加以下配置:
# 開啟binlog
log-bin=mysql-bin server-id=104 # 需要同步的數據庫,如果不配置則同步全部數據庫 binlog-do-db=test_db # binlog日志保留的天數,清除超過10天的日志 # 防止日志文件過大,導致磁盤空間不足 expire-logs-days=10
配置完成后,重啟mysql:
service mysql restart
可以通過命令行 show master status\G;
查看當前binlog日志的信息(后面有用):
Slave配置
Slave配置相對簡單一點。從機肯定也是一台MySQL服務器,所以和Master一樣,找到/etc/my.cnf配置文件,增加以下配置:
# 不要和其他mysql服務id重復即可
server-id=106
接着使用命令行登錄到mysql服務器:
mysql -u root -p
然后輸入密碼登錄進去。
進入到mysql后,再輸入以下命令:
CHANGE MASTER TO MASTER_HOST='192.168.0.104',//主機IP MASTER_USER='root',//之前創建的用戶賬號 MASTER_PASSWORD='Java@1234',//之前創建的用戶密碼 MASTER_LOG_FILE='mysql-bin.000001',//master主機的binlog日志名稱 MASTER_LOG_POS=862,//binlog日志偏移量 master_port=3306;//端口
還沒完,設置完之后需要啟動:
# 啟動slave服務
start slave;
啟動完之后怎么校驗是否啟動成功呢?使用以下命令:
show slave status\G;
可以看到如下信息(摘取部分關鍵信息):
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event Master_Host: 192.168.0.104 Master_User: root Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000001 Read_Master_Log_Pos: 619 Relay_Log_File: mysqld-relay-bin.000001 Relay_Log_Pos: 782 Relay_Master_Log_File: mysql-bin.000001 //binlog日志文件名稱 Slave_IO_Running: Yes //Slave_IO線程、SQL線程都在運行 Slave_SQL_Running: Yes Master_Server_Id: 104 //master主機的服務id Master_UUID: 0ab6b3a6-e21d-11ea-aaa3-080027f8d623 Master_Info_File: /var/lib/mysql/master.info SQL_Delay: 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it Master_Retry_Count: 86400 Auto_Position: 0
另一台slave從機配置一樣,不再贅述。
測試主從復制
在master主機執行sql:
CREATE TABLE `tb_commodity_info` ( `id` varchar(32) NOT NULL, `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名稱', `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品價格', `number` int(10) DEFAULT '0' COMMENT '商品數量', `description` varchar(2048) DEFAULT '' COMMENT '商品描述', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表';
接着我們可以看到兩台slave從機同步也創建了商品信息表:
主從復制就完成了!java技術愛好者有點東西哦~
讀寫分離
主從復制完成后,我們還需要實現讀寫分離,master負責寫入數據,兩台slave負責讀取數據。怎么實現呢?
實現的方式有很多,以前我公司是采用AOP的方式,通過方法名判斷,方法名中有get、select、query開頭的則連接slave,其他的則連接master數據庫。
但是通過AOP的方式實現起來代碼有點繁瑣,有沒有什么現成的框架呢,答案是有的。
Apache ShardingSphere 是一套開源的分布式數據庫中間件解決方案組成的生態圈,它由 JDBC、Proxy兩部分組成。
ShardingSphere-JDBC定位為輕量級 Java 框架,在 Java 的 JDBC 層提供的額外服務。 它使用客戶端直連數據庫,以 jar 包形式提供服務,無需額外部署和依賴,可理解為增強版的 JDBC 驅動,完全兼容 JDBC 和各種 ORM 框架。
讀寫分離就可以使用ShardingSphere-JDBC實現。
下面演示一下SpringBoot+Mybatis+Mybatis-plus+druid+ShardingSphere-JDBC代碼實現。
項目配置
版本說明:
SpringBoot:2.0.1.RELEASE druid:1.1.22 mybatis-spring-boot-starter:1.3.2 mybatis-plus-boot-starter:3.0.7 sharding-jdbc-spring-boot-starter:4.1.1
添加sharding-jdbc的maven配置:
<dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.1.1</version> </dependency>
然后在application.yml添加配置:
# 這是使用druid連接池的配置,其他的連接池配置可能有所不同
spring: shardingsphere: datasource: names: master,slave0,slave1 master: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.0.108:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT username: yehongzhi password: YHZ@1234 slave0: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.0.109:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT username: yehongzhi password: YHZ@1234 slave1: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.0.110:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT username: yehongzhi password: YHZ@1234 props: sql.show: true masterslave: load-balance-algorithm-type: round_robin sharding: master-slave-rules: master: master-data-source-name: master slave-data-source-names: slave0,slave1
sharding.master-slave-rules是標明主庫和從庫,一定不要寫錯,否則寫入數據到從庫,就會導致無法同步。
load-balance-algorithm-type是路由策略,round_robin表示輪詢策略。
啟動項目,可以看到以下信息,代表配置成功:
編寫Controller接口:
/**
* 添加商品
*
* @param commodityName 商品名稱
* @param commodityPrice 商品價格
* @param description 商品價格
* @param number 商品數量
* @return boolean 是否添加成功
* @author java技術愛好者
*/
@PostMapping("/insert") public boolean insertCommodityInfo(@RequestParam(name = "commodityName") String commodityName, @RequestParam(name = "commodityPrice") String commodityPrice, @RequestParam(name = "description") String description, @RequestParam(name = "number") Integer number) throws Exception { return commodityInfoService.insertCommodityInfo(commodityName, commodityPrice, description, number); }
准備就緒,開始測試!
測試
打開POSTMAN,添加商品:
控制台可以看到如下信息:
查詢數據的話則通過slave進行:
就是這么簡單!
缺點
盡管主從復制、讀寫分離能很大程度保證MySQL服務的高可用和提高整體性能,但是問題也不少:
- 從機是通過binlog日志從master同步數據的,如果在網絡延遲的情況,從機就會出現數據延遲。那么就有可能出現master寫入數據后,slave讀取數據不一定能馬上讀出來 。
可能有人會問,有沒有事務問題呢?
實際上這個框架已經想到了,我們看回之前的那個截圖,有一句話是這樣的:
微信公眾號已開啟:【聽風念你yo】,沒關注的同學記得關注哦~
堅持原創,持續輸出兼具廣度和深度的技術文章。
上面所有例子的代碼都上傳Github了:
原文:https://segmentfault.com/a/1190000023775512?utm_source=tuicool&utm_medium=referral
寫在最后
文章內的架構知識點以及面試題和答案,需要的朋友關注作者 [《AI喬治》] 看頂部點擊關注並作者私信“ 學習 ”,或者直接(點擊我)即可免費領取哦~
歡迎關注作者專欄: (JAVA后端架構)。 里面有大量batj面試題集錦,還有各種java架構技術分享,如有好文章也歡迎私信作者投稿哦。