MySQL主從復制--原理


簡介

Mysql內建的復制功能是構建大型,高性能應用程序的基礎。將Mysql的數據分布到多個系統上去,這種分布的機制,是通過將Mysql的某一台主機的數據復制到其它主機(slaves)上,並重新執行一遍來實現的。
復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日志文件,並維護文件的一個索引以跟蹤日志循環。這些日志可以記錄發送到從服務器的更新。
當一個從服務器連接主服務器時,它通知主服務器從服務器在日志中讀取的最后一次成功更新的位置。從服務器接收從那時起發生的任何更新,然后封鎖並等待主服務器通知新的更新。
----------------------------------------------------------------------------------------------------------
需要注意的是:
在進行mysql復制時,所有對復制中的表的更新必須在主服務器上進行。否則必須要小心,以避免用戶對主服務器上的表進行的更新與對從服務器上的表所進行的更新之間的沖突。
----------------------------------------------------------------------------------------------------------

1)Mysql支持那些復制
1--基於語句的復制: 在主服務器上執行的SQL語句,在從服務器上執行同樣的語句。MySQL默認采用基於語句的復制,效率比較高。一旦發現沒法精確復制時,會自動選着基於行的復制。
2--基於行的復制: 把改變的內容復制過去,而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持
3--混合類型的復制: 默認采用基於語句的復制,一旦發現基於語句的無法精確的復制時,就會采用基於行的復制。

2)Mysql復制能解決的問題
1--數據分布 (Data distribution )
2--負載平衡(load balancing)
3--數據備份(Backups) ,保證數據安全
4--高可用性和容錯行(High availability and failover)
5--實現讀寫分離,緩解數據庫壓力

3)Mysql主從復制原理
master服務器將數據的改變記錄二進制binlog日志,當master上的數據發生改變時,則將其改變寫入二進制日志中;
slave服務器會在一定時間間隔內對master二進制日志進行探測其是否發生改變,如果發生改變,則開始一個I/OThread請求master二進制事件,
同時主節點為每個I/O線程啟動一個dump線程,用於向其發送二進制事件,並保存至從節點本地的中繼日志中,從節點將啟動SQL線程從中繼日志中讀取二進制日志,在本地重放,
使得其數據和主節點的保持一致,最后I/OThread和SQLThread將進入睡眠狀態,等待下一次被喚醒。

也就是說:
- 從庫會生成兩個線程,一個I/O線程,一個SQL線程;
- I/O線程會去請求主庫的binlog,並將得到的binlog寫到本地的relay-log(中繼日志)文件中;
- 主庫會生成一個log dump線程,用來給從庫I/O線程傳binlog;
- SQL線程,會讀取relay log文件中的日志,並解析成sql語句逐一執行;

注意幾點:
1--master將操作語句記錄到binlog日志中,然后授予slave遠程連接的權限(master一定要開啟binlog二進制日志功能;通常為了數據安全考慮,slave也開啟binlog功能)。
2--slave開啟兩個線程:IO線程和SQL線程。其中:IO線程負責讀取master的binlog內容到中繼日志relay log里;SQL線程負責從relay log日志里讀出binlog內容,並更新到slave的數據庫里,這樣就能保證slave數據和master數據保持一致了。
3--Mysql復制至少需要兩個Mysql的服務,當然Mysql服務可以分布在不同的服務器上,也可以在一台服務器上啟動多個服務。
4--Mysql復制最好確保master和slave服務器上的Mysql版本相同(如果不能滿足版本一致,那么要保證master主節點的版本低於slave從節點的版本)
5--master和slave兩節點間時間需同步

 

 

如上圖所示:
Mysql復制過程的第一部分就是master記錄二進制日志。在每個事務更新數據完成之前,master在二進制日志記錄這些改變。MySQL將事務串行的寫入二進制日志,即使事務中的語句都是交叉執行的。在事件寫入二進制日志完成后,master通知存儲引擎提交事務。

第二部分就是slave將master的binary log拷貝到它自己的中繼日志。首先,slave開始一個工作線程——I/O線程。I/O線程在master上打開一個普通的連接,然后開始binlog dump process。Binlog dump process從master的二進制日志中讀取事件,如果已經跟上master,它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日志。
SQL slave thread(SQL從線程)處理該過程的最后一步。SQL線程從中繼日志讀取事件,並重放其中的事件而更新slave的數據,使其與master中的數據一致。只要該線程與I/O線程保持一致,中繼日志通常會位於OS的緩存中,所以中繼日志的開銷很小。

此外,在master中也有一個工作線程:和其它MySQL的連接一樣,slave在master中打開一個連接也會使得master開始一個線程。復制過程有一個很重要的限制——復制在slave上是串行化的,也就是說master上的並行更新操作不能在slave上並行操作。

4)Mysql復制的模式
1--主從復制:主庫授權從庫遠程連接,讀取binlog日志並更新到本地數據庫的過程;主庫寫數據后,從庫會自動同步過來(從庫跟着主庫變);
2--主主復制:主從相互授權連接,讀取對方binlog日志並更新到本地數據庫的過程;只要對方數據改變,自己就跟着改變;

5)Mysql主從復制的優點
1--在從服務器可以執行查詢工作(即我們常說的讀功能),降低主服務器壓力;(主庫寫,從庫讀,降壓)
2--在從主服務器進行備份,避免備份期間影響主服務器服務;(確保數據安全)
3--當主服務器出現問題時,可以切換到從服務器。(提升性能)

6)Mysql主從復制工作流程細節
1)MySQL支持單向、異步復制,復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。MySQL復制基於主服務器在二進制日志中跟蹤所有對數據庫的更改(更新、刪除等等)。
因此,要進行復制,必須在主服務器上啟用二進制日志。每個從服務器從主服務器接收主服務器上已經記錄到其二進制日志的保存的更新。
當一個從服務器連接主服務器時,它通知主服務器定位到從服務器在日志中讀取的最后一次成功更新的位置。從服務器接收從那時起發生的任何更新,並在本機上執行相同的更新。然后封鎖並等待主服務器通知新的更新。
從服務器執行備份不會干擾主服務器,在備份過程中主服務器可以繼續處理更新。

2)MySQL使用3個線程來執行復制功能,其中兩個線程(Sql線程和IO線程)在從服務器,另外一個線程(IO線程)在主服務器。
當發出START SLAVE時,從服務器創建一個I/O線程,以連接主服務器並讓它發送記錄在其二進制日志中的語句。
主服務器創建一個線程將二進制日志中的內容發送到從服務器。該線程可以即為主服務器上SHOW PROCESSLIST的輸出中的Binlog Dump線程。
從服務器I/O線程讀取主服務器Binlog Dump線程發送的內容並將該數據拷貝到從服務器數據目錄中的本地文件中,即中繼日志。
第3個線程是SQL線程,由從服務器創建,用於讀取中繼日志並執行日志中包含的更新。在從服務器上,讀取和執行更新語句被分成兩個獨立的任務。
當從服務器啟動時,其I/O線程可以很快地從主服務器索取所有二進制日志內容,即使SQL線程執行更新的遠遠滯后。

7)幾點總結
主從數據完成同步的過程:
1) 在Slave 服務器上執行sart slave命令開啟主從復制開關,開始進行主從復制。

2) 此時,Slave服務器的IO線程會通過在master上已經授權的復制用戶權限請求連接master服務器,並請求從執行binlog日志文件的指定位置(日志文件名和位置就是
在配置主從復制服務時執行change master命令指定的)之后開始發送binlog日志內容

3) Master服務器接收到來自Slave服務器的IO線程的請求后,其上負責復制的IO線程會根據Slave服務器的IO線程請求的信息分批讀取指定binlog日志文件指定位置之后
的binlog日志信息,然后返回給Slave端的IO線程。返回的信息中除了binlog日志內容外,還有在Master服務器端記錄的IO線程。返回的信息中除了binlog中的下一個
指定更新位置。

4) 當Slave服務器的IO線程獲取到Master服務器上IO線程發送的日志內容、日志文件及位置點后,會將binlog日志內容依次寫到Slave端自身的Relay Log(即中繼日志)
文件(Mysql-relay-bin.xxx)的最末端,並將新的binlog文件名和位置記錄到master-info文件中,以便下一次讀取master端新binlog日志時能告訴Master服務器從
新binlog日志的指定文件及位置開始讀取新的binlog日志內容

5) Slave服務器端的SQL線程會實時檢測本地Relay Log 中IO線程新增的日志內容,然后及時把Relay LOG 文件中的內容解析成sql語句,並在自身Slave服務器上按解析
SQL語句的位置順序執行應用這樣sql語句,並在relay-log.info中記錄當前應用中繼日志的文件名和位置點.

8)主從復制條件
1)開啟Binlog功能
2)主庫要建立賬號
3)從庫要配置master.info(CHANGE MASTER to...相當於配置密碼文件和Master的相關信息)
4)start slave 開啟復制功能

需要了解的:
1)3個線程,主庫IO,從庫IO和SQL及作用
2)master.info(從庫)作用
3)relay-log 作用
4)異步復制
5)binlog作用(如果需要級聯需要開啟Binlog)

需要注意:
1)主從復制是異步的邏輯的SQL語句級的復制
2)復制時,主庫有一個I/O線程,從庫有兩個線程,I/O和SQL線程
3)實現主從復制的必要條件是主庫要開啟記錄binlog功能
4)作為復制的所有Mysql節點的server-id都不能相同
5)binlog文件只記錄對數據庫有更改的SQL語句(來自主庫內容的變更),不記錄任何查詢(select,show)語句

 

============================================================
徹底解除主從復制關系
1)stop slave;
2)reset slave; 或直接刪除master.info和relay-log.info這兩個文件;
3)修改my.cnf刪除主從相關配置參數。
讓slave不隨MySQL自動啟動
修改my.cnf 在[mysqld]中增加 skip-slave-start 選項。

做了MySQL主從復制以后,使用mysqldump對數據備份時,一定要注意按照如下方式:
mysqldump --master-data --single-transaction --user=username --password=password dbname> dumpfilename
這樣就可以保留 file 和 position 的信息,在新搭建一個slave的時候,還原完數據庫, file 和 position 的信息也隨之更新,接着再start slave
就可以很迅速的完成增量同步!

需要限定同步哪些數據庫,有3個思路:
1)在執行grant授權的時候就限定數據庫;
2)在主服務器上限定binlog_do_db = 數據庫名;
3)主服務器上不限定數據庫,在從服務器上限定replicate-do-db = 數據庫名;

如果想實現 主-從(主)-從 這樣的鏈條式結構,需要設置:
log-slave-updates 只有加上它,從前一台機器上同步過來的數據才能同步到下一台機器。
當然,二進制日志也是必須開啟的:
log-bin=/opt/mysql/binlogs/bin-log
log-bin-index=/opt/mysql/binlogs/bin-log.index

還可以設置一個log保存周期:
expire_logs_days=14

 

主從\主主復制過濾

復制過濾:
讓從節點僅僅復制指定的數據庫,或指定數據庫的指定數據表。主服務器有10個數據庫,而從節點只需要同步其中的一兩個數據庫。
這個時候就需要復制過濾。復制過濾器可以在主節點中實現,也可以在從節點中實現。

Mysql主從同步部分數據有兩個思路:

1) master只發送需要的;

2) Slave只接收想要的

=====master主節點=====
在主節點的二進制事件日志中僅記錄與指定數據庫(數據表)相關的事件日志,但是主節點的二進制日志不完整,沒有記錄所有對主節點的修改操作。(不推薦)
如果要使用該方式,則在主節點的配置文件中添加如下參數:
binlog_do_db="***,***,***";     #數據庫白名單列表,二進制日志記錄的數據庫(多數據庫用逗號隔開或重復設置多行),即需要同步的庫.不在內的不同步。(不添加這行表示同步所有)
binlog_ingore_db="***,***,***"; #數據庫黑名單列表, 二進制日志中忽略的數據庫 (多數據庫用逗號隔開或重復設置多行),即不需要同步,要過濾掉的庫.

=====slave從節點=====
從服務器的 SQL Thread在Replay中繼日志中的事件時,僅讀取於特定數據庫(數據表)相關的事件,並應用於本地。(但是浪費I/O ,浪費帶寬)推薦使用
從節點復制過濾相關設置項:
replicate_do_db ="webdb";        #復制庫的白名單. 設定需要復制的數據庫(多數據庫使用逗號隔開或重復設置多行)
replicate_ingore_db ="mysql";    #復制庫的黑名單. 設定需要忽略的復制數據庫(多數據庫使用逗號隔開或重復設置多行)
replicate_do_table="webdb.user"; #復制表的白名單. 設定需要復制的表(多數據庫使用逗號隔開或重復設置多行)
relicate_ingore_table="webdb.uw";#復制表的黑名單. 設定需要忽略的復制的表(多數據庫使用逗號隔開或重復設置多行)

replicate-wild-do-table  #同replication-do-table功能一樣,但是可以通配符.更高級別的應用,通配符,應用到哪一類表的.
replicate-wild-ignore-table #同replication-ignore-table功能一樣,但是可以加通配符.

當在主庫存在的庫而從庫不存在的庫同步時,會出現sql錯誤,這時候可以排除或者從庫手動導入主庫數據庫;

從庫可以使用通配符"庫名.%"方式過濾主從同步時某個庫的設置
replicate-wild-do-table=webdb.%      #只復制webdb庫下的所有表
replicate-wild-ignore-table=mysql.%  #忽略mysql庫下的所有表

特別注意:
生產庫上一般不建議設置過濾規則, 如果非要設置, 強烈建議從庫使用通配符方式過濾某個庫:
replicate-wild-do-table= "庫名.%"
replicate-wild-ignore-table= "庫名.%"

而不建議從庫使用DB方式過濾某個庫:
replicate_do_db ="庫名"
replicate_ingore_db ="庫名"

主從\主主環境部署

更加精彩部署篇點擊鏈接:https://www.cnblogs.com/brianzhu/p/10154446.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM