數據庫讀寫分離Master-Slave
一個平台或系統隨着時間的推移和用戶量的增多,數據庫操作往往會變慢,這時我們需要一些有效的優化手段來提高數據庫的執行速度;如SQL優化、表結構優化、索引優化、引擎優化和讀寫分離優化等手段。
1、SQL優化(簡單列幾點):
盡量避免用SELECT*;
只查詢一條記錄時使用limit1;
使用連接查詢代替子查詢;
盡量使用一些能通過索引查詢的關鍵字。
2、表結構優化:
盡量使用數字類型字段,提高對比效率;
長度不變且對查詢速度要求高的數據可以考慮使用char,否則使用varchar;
表中字段過多時可以適當的進行垂直分割,將部分字段移動到另一張表;
表中數據量大可以適當的進行水平分割,將部分數據移動到另一張表。
3、索引優化:
對查詢頻率高的字段適當建立索引,提高效率。(在經常用到的字段上適合建立索引)
4、引擎優化:
選擇合適的引擎提高數據庫性能,如InnoDB和MyISAM,InnoDB和MyISAM是許多人在使用MySQL時最常用的兩個表類型,這兩個表類型各有優劣,視具體應用而定。基本的差別為:MyISAM類型不支持事務處理等高級處理,而InnoDB類型支持。MyISAM類型的表強調的是性能,其執行數度比InnoDB類型更快,但是不提供事務支持,而InnoDB提供事務支持以及外部鍵等高級數據庫功能。
InnoDB:
支持事務處理,支持外鍵,支持崩潰修復能力和並發控制。如果需要對事務的完整性要求比較高(比如銀行),要求實現並發控制(比如售票),那選擇InnoDB有很大的優勢。如果需要頻繁的更新、刪除操作的數據庫,也可以選擇InnoDB,因為支持事務的提交(commit)和回滾(rollback)。
MyISAM:
插入數據快,空間和內存使用比較低。如果表主要是用於插入新記錄和讀取記錄,那么選擇MyISAM能實現高效處理。如果對應用的完整性和並發性要求較低,也可以使用。
MEMORY:
所有的數據都在內存中,數據的處理速度快,但是安全性不高。如果需要很快的讀寫速度,對數據的安全性要求較低,可以選擇MEMOEY。它對表的大小有要求,不能建立太大的表。所以,這類數據庫只使用在相對較小的數據庫表。
注意:
同一個數據庫也可以使用多種存儲引擎的表,如果一個表要求比較高的事務處理,可以選擇InnoDB;這個數據庫中可以將查詢要求比較高的表選擇MyISAM存儲;如果該數據庫需要一個用於查詢的臨時表,可以選擇MEMORY存儲引擎。
5、讀寫分離優化:
隨着用戶量的增多,數據庫操作往往會成為一個系統的瓶頸所在,但一般的系統“讀”的壓力遠遠大於“寫”,So我們可以通過實現數據庫讀寫分離-主從復制來提高系統的性能。
主從設計思路:
通過設置主從數據庫實現讀寫分離,主數據庫負責“寫操作”,從數據庫負責“讀操作”,根據壓力情況,從數據庫可以部署多個提高“讀”的速度,借此來提高系統總體的性能。當然,我們可以根據項目等需要配置多個從庫。
如上圖所示,讀寫分離的實現,主要是解決主從數據庫數據同步的問題,在主數據庫寫入數據后要保證從數據庫的數據也要更新。主服務器master記錄數據庫操作日志到Binary log,從服務器開啟i/o線程將二進制日志記錄的操作同步到relay log(存在從服務器的緩存中),另外sql線程將relay log日志記錄的操作在從服務器執行。
Master-Slave具體步驟
准備工作,在這之前需要准備兩個服務器,分別在上面安裝Mysql數據庫,一個作為Master,另外一個是Slave,當然需要多個從庫可以自己搞多個Slave。如下圖:
兩個虛擬機服務器:
分別安裝Mysql數據庫:
1.主mysql數據庫配置文件修改
[root@tjt03 ~]# vim /etc/my.cnf
在主服務器master上配置開啟Binary log,主要是在[mysqld]下面添加:
server-id=132
log-bin=master-bin //[必須]啟用二進制日志
log-bin-index=master-bin.index //[必須]服務器唯一ID,默認是1,一般取IP最后一段
配置修改好后重主庫Mysql:
[root@tjt03 ~]# sudo service mysqld stop
Stopping mysqld (via systemctl): [ OK ] [root@tjt03 ~]# sudo service mysqld start
Starting mysqld (via systemctl): [ OK ] [root@tjt03 ~]#
在主數據庫檢查配置效果:
mysql> SHOW MASTER STATUS;
可以看到下圖表示配置沒問題,這里面的File名:master-bin.000001 我們接下來在從數據庫的配置會使用:
2.從mysql數據庫配置文件修改
[root@tjt02 mysql]# vim /etc/my.cnf
在從服務器slave上的[mysqld]下面添加:
server-id=131 //這里面的server-id 一定要和主庫的不同
relay-log-index=slave-relay-bin.index
relay-log=slave-relay-bin
配置修改好后重從庫Mysql:
[root@tjt02 mysql]# service mysqld stop
Stopping mysqld (via systemctl): [ OK ] [root@tjt02 mysql]# service mysqld start
Starting mysqld (via systemctl): [ OK ] [root@tjt02 mysql]#
3、配置兩個數據庫的關聯
首先我們先建立一個操作主從同步的數據庫用戶,切換到主數據庫執行:
mysql> GRANT REPLICATION SLAVE ON *.* to 'tjt'@'%' identified by 'TANjintao@520';
這個配置的含義就是創建了一個數據庫用戶tjt,密碼是TANjintao@520, 在從服務器使用tjt這個賬號和主服務器連接的時候,就賦予其REPLICATION SLAVE的權限, *.* 表面這個權限是針對主庫的所有表的,“%”表示所有客戶端都可能連,只要帳號,密碼正確,此處可用具體客戶端IP代替,如192.168.145.226,加強安全。
進入從數據庫執行授權Slave:
mysql> change master to master_host='172.16.114.132',master_port=3306,master_user='tjt',master_password='TANjintao@520',master_log_file='master-bin.000001',master_log_pos=0;
上述步驟執行完畢后執行start slave啟動配置:
mysql> start slave;
停止主從同步的命令為:
mysql> stop slave;
查看狀態命令,\G表示換行查看:
mysql> show slave status \G; *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 172.16.114.132 Master_User: tjt Master_Port: 3306 Connect_Retry: 60 Master_Log_File: master-bin.000001 Read_Master_Log_Pos: 870 Relay_Log_File: slave-relay-bin.000002 Relay_Log_Pos: 1085 Relay_Master_Log_File: master-bin.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB:
可以看到狀態如下:
這里看到從數據庫已經在等待主庫的消息了,接下來在主庫的操作,在從庫都會執行了。我們可以主庫負責寫,從庫負責讀,達到讀寫分離的效果。
注:Slave_IO及Slave_SQL進程必須正常運行,即YES狀態,否則都是錯誤的狀態(如:其中一個NO均屬錯誤)。
簡單測試
在主數據庫中創建一個新的數據庫:
mysql> create database tjt0702;
在從數據庫查看數據庫:
mysql> show databases;
到這里,數據庫的主從復制Master-Slave已經OK了。
代碼層面實現讀寫分離
假設我們使用的是主流的SpringBoot框架開發的web項目,實現數據庫讀寫分離如下。
配置了一個從庫Slave:
https://blog.csdn.net/zhouzeqiang/article/details/87800590
配置了兩個從庫Slave:
https://my.oschina.net/u/560547/blog/1843462
配置兩個數據庫的關聯
配置兩個數據庫的關聯