Mysql復制的幾種模式
從 MySQL 5.1.12 開始,可以用以下三種模式來實現:
– 基於SQL語句的復制(statement-based replication, SBR),
– 基於行的復制(row-based replication, RBR),
– 混合模式復制(mixed-based replication, MBR)。
相應地,binlog的格式也有三種:STATEMENT,ROW,MIXED。 MBR 模式中,SBR 模式是默認的。
在運行時可以動態改動 binlog的格式,除了以下幾種情況:
1.存儲流程或者觸發器中間
2.啟用了NDB
3.當前會話試用 RBR 模式,並且已打開了臨時表
如果binlog采用了 MIXED 模式,那么在以下幾種情況下會自動將binlog的模式由 SBR 模式改成 RBR 模式:
1.當DML語句更新一個NDB表時
2.當函數中包含 UUID() 時
3.2個及以上包含 AUTO_INCREMENT 字段的表被更新時
4.行任何 INSERT DELAYED 語句時
5.用 UDF 時
6.視圖中必須要求運用 RBR 時,例如建立視圖是運用了 UUID() 函數
*設定主從復制模式:
log-bin=mysql-bin
binlog_format="STATEMENT" ##binlog_format="ROW" ##binlog_format="MIXED"
也可以在運行時動態修改binlog的格式。例如
mysql> SET SESSION binlog_format = ‘STATEMENT’;
mysql> SET SESSION binlog_format = ‘ROW’;
mysql> SET SESSION binlog_format = ‘MIXED’;
mysql> SET GLOBAL binlog_format = ‘STATEMENT’;
mysql> SET GLOBAL binlog_format = ‘ROW’;
mysql> SET GLOBAL binlog_format = ‘MIXED’;
*兩種模式各自的優缺點:
SBR 的優點:
歷史悠久,技能成熟
binlog文件較小
binlog中包含了所有數據庫修改信息,可以據此來審核數據庫的安全等情況
binlog可以用於實時的還原,而不僅僅用於復制
主從版本可以不一樣,從服務器版本可以比主服務器版本高
SBR 的缺點:
不是所有的UPDATE語句都能被復制,尤其是包含不確定操作的時候。
調用具有不確定因素的 UDF 時復制也可能出疑問
運用以下函數的語句也不能被復制:
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非啟動時啟用了 –sysdate-is-now 選項)
INSERT … SELECT 會產生比 RBR 更多的行級鎖
復制須要執行 全表掃描(WHERE 語句中沒有運用到索引)的 UPDATE 時,須要比 RBR 請求更多的行級鎖
對於有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 語句會阻塞其他 INSERT 語句
對於一些復雜的語句,在從服務器上的耗資源情況會更嚴重,而 RBR 模式下,只會對那個發生變化的記錄產生影響
存儲函數(不是存儲流程 )在被調用的同時也會執行一次 NOW() 函數,這個可以說是壞事也可能是好事
確定了的 UDF 也須要在從服務器上執行
數據表必須幾乎和主服務器保持一致才行,否則可能會導致復制出錯
執行復雜語句如果出錯的話,會消耗更多資源
RBR 的優點:
任何情況都可以被復制,這對復制來說是最安全可靠的
和其他大多數數據庫系統的復制技能一樣
多數情況下,從服務器上的表如果有主鍵的話,復制就會快了很多
復制以下幾種語句時的行鎖更少:
* INSERT … SELECT
* 包含 AUTO_INCREMENT 字段的 INSERT
* 沒有附帶條件或者並沒有修改很多記錄的 UPDATE 或 DELETE 語句
執行 INSERT,UPDATE,DELETE 語句時鎖更少
從服務器上采用多線程來執行復制成為可能
RBR 的缺點:
binlog 大了很多
復雜的回滾時 binlog 中會包含大量的數據
主服務器上執行 UPDATE 語句時,所有發生變化的記錄都會寫到 binlog 中,而 SBR 只會寫一次,這會導致頻繁發生 binlog 的並發寫疑問
UDF 產生的大 BLOB 值會導致復制變慢
不能從 binlog 中看到都復制了寫什么語句(加密過的)
當在非事務表上執行一段堆積的SQL語句時,最好采用 SBR 模式,否則很容易導致主從服務器的數據不一致情況發生
另外,針對系統庫 mysql 里面的表發生變化時的處理准則如下:
如果是采用 INSERT,UPDATE,DELETE 直接操作表的情況,則日志格式根據 binlog_format 的設定而記錄
如果是采用 GRANT,REVOKE,SET PASSWORD 等管理語句來做的話,那么無論如何 都采用 SBR 模式記錄。
注:采用 RBR 模式后,能處理很多原先出現的主鍵重復問題。實例:
對於insert into db_allot_ids select * from db_allot_ids 這個語句:
在BINLOG_FORMAT=STATEMENT 模式下:
BINLOG日志信息為:
—————————————–
BEGIN /*!*/; # at 173 #090612 16:05:42 server id 1 end_log_pos 288 Query thread_id=4 exec_time=0 error_code=0 SET TIMESTAMP=1244793942/*!*/; insert into db_allot_ids select * from db_allot_ids /*!*/;
—————————————–
在BINLOG_FORMAT=ROW 模式下:
BINLOG日志信息為:
—————————————–
BINLOG ' hA0yShMBAAAAMwAAAOAAAAAAAA8AAAAAAAAAA1NOUwAMZGJfYWxsb3RfaWRzAAIBAwAA hA0yShcBAAAANQAAABUBAAAQAA8AAAAAAAEAAv/8AQEAAAD8AQEAAAD8AQEAAAD8AQEAAAA= '/*!*/;
—————————————–
*Mysql主從的優缺點
MySQL的主從同步是一個很成熟的架構,優點為:①在從服務器可以執行查詢工作(即我們常說的讀功能),降低主服 務器壓力;②在從主服務器進行備份,避免備份期間影響主服務器服務;③當主服務器出現問題時,可以切換到從服務器。所以我在項目部署和實施中經常會采用這種方案;鑒於生產環境下的mysql的嚴謹性。
實際上,在老版本中,MySQL 的復制實現在 Slave 端並不是由 SQL 線程和 IO 線程這兩個線程共同協作而完成的,而是由單獨的一個線程來完成所有的工作。但是 MySQL 的工程師們很快發現,這樣做存在很大的風險和性能問題,主要如下:
首先,如果通過一個單一的線程來獨立實現這個工作的話,就使復制 Master 端的,Binary Log日志,以及解析這些日志,然后再在自身執行的這個過程成為一個串行的過程,性能自然會受到較大的限制,這種架構下的 Replication 的延遲自然就比較長了。
其次,Slave 端的這個復制線程從 Master 端獲取 Binary Log 過來之后,需要接着解析這些內容,還原成 Master 端所執行的原始 Query,然后在自身執行。在這個過程中,Master端很可能又已經產生了大量的變化並生成了大量的 Binary Log 信息。如果在這個階段 Master 端的存儲系統出現了無法修復的故障,那么在這個階段所產生的所有變更都將永遠的丟失,無法再找回來。這種潛在風險在Slave 端壓力比較大的時候尤其突出,因為如果 Slave 壓力比較大,解析日志以及應用這些日志所花費的時間自然就會更長一些,可能丟失的數據也就會更多。
所以,在后期的改造中,新版本的 MySQL 為了盡量減小這個風險,並提高復制的性能,將 Slave 端的復制改為兩個線程來完成,也就是前面所提到的 SQL 線程和 IO 線程。最早提出這個改進方案的是Yahoo!的一位工程師“Jeremy Zawodny”。通過這樣的改造,這樣既在很大程度上解決了性能問題,縮短了異步的延時時間,同時也減少了潛在的數據丟失量。
當然,即使是換成了現在這樣兩個線程來協作處理之后,同樣也還是存在 Slave 數據延時以及數據丟失的可能性的,畢竟這個復制是異步的。只要數據的更改不是在一個事務中,這些問題都是存在的。
如果要完全避免這些問題,就只能用 MySQL 的 Cluster 來解決了。不過 MySQL的 Cluster 知道筆者寫這部分內容的時候,仍然還是一個內存數據庫的解決方案,也就是需要將所有數據包括索引全部都 Load 到內存中,這樣就對內存的要求就非常大的大,對於一般的大眾化應用來說可實施性並不是太大。MySQL 現在正在不斷改進其 Cluster 的實現,其中非常大的一個改動就是允許數據不用全部 Load 到內存中,而僅僅只是索引全部 Load 到內存中,我想信在完成該項改造之后的 MySQL Cluster 將會更加受人歡迎,可實施性也會更大。
*Mysql的半同步模式(Semisynchronous Replication)
我們知道在5.5之前,MySQL的復制其實是異步操作,而不是同步,也就意味着允許主從之間的數據存在一定的延遲,mysql當初這樣設計的目的可能也是基於可用性的考慮,為了保證master不受slave的影響,並且異步復制使得master處於一種性能最優的狀態:寫完binlog后即可提交而不需要等待slave的操作完成。這樣存在一個隱患,當你使用slave作為備份時,如果master掛掉,那么會存在部分已提交的事務未能成功傳輸到slave的可能,這就意味着數據丟失!
在MySQL5.5版本中,引入了半同步復制模式(Semi-synchronous Replication)能夠成功(只是相對的)避免上述數據丟失的隱患。在這種模式下:master會等到binlog成功傳送並寫入至少一個slave的relay log之后才會提交,否則一直等待,直到timeout(默認10s)。當出現timeout的時候,master會自動切換半同步為異步,直到至少有一個slave成功收到並發送Acknowledge,master會再切換回半同步模式。結合這個新功能,我們可以做到,在允許損失一定的事務吞吐量的前提下來保證同步數據的絕對安全,因為當你設置timeout為一個足夠大的值的情況下,任何提交的數據都會安全抵達slave。
mysql5.5 版本支持半同步復制功能(Semisynchronous Replication),但還不是原生的支持,是通過plugin來支持的,並且默認是沒有安裝這個插件的。不論是二進制發布的,還是自己源代碼編譯的,都會默認生成這個插件,一個是針對master 的一個是針對slave的,在使用之前需要先安裝這倆plugins。
二、Mysql主從復制的過濾
復制的過濾主要有2種方式:
1、在主服務器在把事件從進二制日志中過濾掉,相關的參數是:binlog_do_db和binlog_ignore_db。
2、在從服務器上把事件從中繼日志中過濾掉,相關的參數是replicate_*。
復制只能擴展讀取,不能擴展寫入,對數據進行分區可以進行擴展寫入。
復制的優化:
在mysql復制環境中,有8個參數可以讓我們控制,需要復制或需要忽略不進行復制的DB或table分別為:
下面二項需要在Master上設置:
Binlog_Do_DB:設定哪些數據庫需要記錄Binlog
Binlog_Ignore_DB:設定哪里數據庫不需要記錄Binlog
優點是Master端的Binlog記錄所帶來的Io量減少,網絡IO減少,還會讓slave端的IO線程,SQL線程減少,從而大幅提高復制性能,
缺點是mysql判斷是否需要復制某個事件不是根據產生該事件的查詢所在的DB,而是根據執行查詢時刻所在的默認數據庫(也就是登錄時指定的庫名或運行”use database”中指定的DB),只有當前默認DB和配置中所設定的DB完全吻合時IO線程才會將該事件讀取給slave的IO線程.所以,如果在默認DB和設定須要復制的DB不一樣的情況下改變了須要復制的DB中某個Table中的數據,該事件是不會被復制到Slave中去的,這樣就會造成Slave端的數據和Master的數據不一致.同樣,在默認的數據庫下更改了不須要復制的數據庫中的數據,則會被復制到slave端,當slave端並沒有該數據庫時,則會造成復制出錯而停止。
下面六項需要在slave上設置:
Replicate_Do_DB:設定需要復制的數據庫,多個DB用逗號分隔
Replicate_Ignore_DB:設定可以忽略的數據庫.
Replicate_Do_Table:設定需要復制的Table
Replicate_Ignore_Table:設定可以忽略的Table
Replicate_Wild_Do_Table:功能同Replicate_Do_Table,但可以帶通配符來進行設置。
Replicate_Wild_Ignore_Table:功能同Replicate_Do_Table,功能同Replicate_Ignore_Table,可以帶通配符。
優點是在slave端設置復制過濾機制,可以保證不會出現因為默認的數據庫問題而造成Slave和Master數據不一致或復制出錯的問題.
缺點是性能方面比在Master端差一些.原因在於:不管是否須要復制,事件都會被IO線程讀取到Slave端,這樣不僅增加了網絡IO量,也給Slave端的IO線程增加了Relay Log的寫入量。
注:在實際的生產應用中發現,在mysql5.0以前的版本,mysql的這個過濾設置幾乎是形同虛設,不起作用:不管你在主庫或是從庫上設置了忽略某個數據庫或是表,他依然會進行同步,所以在做5.0以前版本的主從同步時,一定保持主從數據庫的一致性,主上有的庫或是表從上一定要有,否則在同步的過程會出錯。
原文鏈接:https://blog.csdn.net/abc517638821/article/details/50709028