歡迎大家前往雲+社區，獲取更多騰訊海量技術實踐干貨哦~
作者：騰訊雲數據庫內核團隊
原文標題：【騰訊雲CDB】深入解析MySQL binlog
1.概述
binlog是Mysql sever層維護的一種二進制日志，與innodb引擎中的redo/undo log是完全不同的日志；其主要是用來記錄對mysql數據更新或潛在發生更新的SQL語句，並以"事務"的形式保存在磁盤中；
作用主要有：
- 復制：MySQL Replication在Master端開啟binlog，Master把它的二進制日志傳遞給slaves並回放來達到master-slave數據一致的目的
- 數據恢復：通過mysqlbinlog工具恢復數據
- 增量備份
2.binlog管理
- 開啟binlogmy.cnf配置中設置：log_bin="存放binlog路徑目錄"
binlog信息查詢binlog開啟后，可以在配置文件中查看其位置信息，也可以在myslq命令行中查看： show variables like '%log_bin%'; +---------------------------------+-------------------------------------+ | Variable_name | Value | +---------------------------------+-------------------------------------+ | log_bin | ON | | log_bin_basename | /var/lib/mysql/3306/mysql-bin | | log_bin_index | /var/lib/mysql/3306/mysql-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+-------------------------------------+
binlog文件開啟binlog后，會在數據目錄（默認）生產host-bin.n（具體binlog信息）文件及host-bin.index索引文件（記錄binlog文件列表）。當binlog日志寫滿(binlog大小max_binlog_size，默認1G),或者數據庫重啟才會生產新文件，但是也可通過手工進行切換讓其重新生成新的文件（flush logs）；另外，如果正使用大的事務，由於一個事務不能橫跨兩個文件，因此也可能在binlog文件未滿的情況下刷新文件 mysql> show binary logs; //查看binlog文件列表, +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000001 | 177 | | mysql-bin.000002 | 177 | | mysql-bin.000003 | 10343266 | | mysql-bin.000004 | 10485660 | | mysql-bin.000005 | 53177 | | mysql-bin.000006 | 2177 | | mysql-bin.000007 | 1383 | +------------------+-----------+
查看binlog的狀態：show master status可查看當前二進制日志文件的狀態信息，顯示正在寫入的二進制文件，及當前position mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000007 | 120 | | | | +------------------+----------+--------------+------------------+-------------------+
- reset master 清空binlog日志文件
3.binlog內容
默認情況下binlog日志是二進制格式，無法直接查看。可使用兩種方式進行查看：
a. mysqlbinlog: /usr/bin/mysqlbinlog mysql-bin.000007 - mysqlbinlog是mysql官方提供的一個binlog查看工具， - 也可使用–read-from-remote-server從遠程服務器讀取二進制日志， - 還可使用--start-position --stop-position、--start-time= --stop-time精確解析binlog日志 截取位置1190-1352 binlog如下： *************************************************************************************** # at 1190 //事件的起點 #171223 21:56:26 server id 123 end_log_pos 1190 CRC32 0xf75c94a7 Intvar SET INSERT_ID=2/*!*/; #171223 21:56:26 server id 123 end_log_pos 1352 CRC32 0xefa42fea Query thread_id=4 exec_time=0 error_code=0 SET TIMESTAMP=1514123786/*!*/; //開始事務的時間起點 (每個at即為一個event) insert into tb_person set name="name__2", address="beijing", sex="man", other="nothing" //sql語句 /*!*/; # at 1352 #171223 21:56:26 server id 123 end_log_pos 1383 CRC32 0x72c565d3 Xid = 5 //執行時間，及位置戳，Xid:事件指示提交的XA事務 *************************************************************************************** b.直命令行解析 SHOW BINLOG EVENTS [IN 'log_name'] //要查詢的binlog文件名 [FROM pos] [LIMIT [offset,] row_count] 1190-135如下：mysql> show binlog events in 'mysql-bin.000007' from 1190 limit 2\G *************************** 13. row *************************** Log_name: mysql-bin.000007 Pos: 1190 Event_type: Query //事件類型 Server_id: 123 End_log_pos: 1352 //結束pose點，下個事件的起點 Info: use `test`; insert into tb_person set name="name__2", address="beijing", sex="man", other="nothing" *************************** 14. row *************************** Log_name: mysql-bin.000007 Pos: 1352 Event_type: Xid Server_id: 123 End_log_pos: 1383 Info: COMMIT /* xid=51 */
4.binlog格式
Mysql binlog日志有ROW,Statement,MiXED三種格式；可通過my.cnf配置文件及 ==set global binlog_format='ROW/STATEMENT/MIXED'== 進行修改，命令行 ==show variables like 'binlog_format'== 命令查看binglog格式；。
- Row level: 僅保存記錄被修改細節，不記錄sql語句上下文相關信息優點：能非常清晰的記錄下每行數據的修改細節，不需要記錄上下文相關信息，因此不會發生某些特定情況下的procedure、function、及trigger的調用觸發無法被正確復制的問題，任何情況都可以被復制，且能加快從庫重放日志的效率，保證從庫數據的一致性 缺點:由於所有的執行的語句在日志中都將以每行記錄的修改細節來記錄，因此，可能會產生大量的日志內容，干擾內容也較多；比如一條update語句，如修改多條記錄，則binlog中每一條修改都會有記錄，這樣造成binlog日志量會很大，特別是當執行alter table之類的語句的時候，由於表結構修改，每條記錄都發生改變，那么該表每一條記錄都會記錄到日志中，實際等於重建了表。 tip: - row模式生成的sql編碼需要解碼，不能用常規的辦法去生成，需要加上相應的參數(--base64-output=decode-rows -v)才能顯示出sql語句; - 新版本binlog默認為ROW level，且5.6新增了一個參數：binlog_row_image；把binlog_row_image設置為minimal以后，binlog記錄的就只是影響的列，大大減少了日志內容
- Statement level: 每一條會修改數據的sql都會記錄在binlog中優點：只需要記錄執行語句的細節和上下文環境，避免了記錄每一行的變化，在一些修改記錄較多的情況下相比ROW level能大大減少binlog日志量，節約IO，提高性能；還可以用於實時的還原；同時主從版本可以不一樣，從服務器版本可以比主服務器版本高 缺點：為了保證sql語句能在slave上正確執行，必須記錄上下文信息，以保證所有語句能在slave得到和在master端執行時候相同的結果；另外，主從復制時，存在部分函數（如sleep）及存儲過程在slave上會出現與master結果不一致的情況，而相比Row level記錄每一行的變化細節，絕不會發生這種不一致的情況
- Mixedlevel level: 以上兩種level的混合使用經過前面的對比，可以發現ROW level和statement level各有優勢，如能根據sql語句取舍可能會有更好地性能和效果；Mixed level便是以上兩種leve的結合。不過，新版本的MySQL對row level模式也被做了優化，並不是所有的修改都會以row level來記錄，像遇到表結構變更的時候就會以statement模式來記錄，如果sql語句確實就是update或者delete等修改數據的語句，那么還是會記錄所有行的變更；因此，現在一般使用row level即可。
- 選取規則如果是采用 INSERT，UPDATE，DELETE 直接操作表的情況，則日志格式根據 binlog_format 的設定而記錄 如果是采用 GRANT，REVOKE，SET PASSWORD 等管理語句來做的話，那么無論如何都采用statement模式記錄
5.復制
復制是mysql最重要的功能之一，mysql集群的高可用、負載均衡和讀寫分離都是基於復制來實現的；從5.6開始復制有兩種實現方式，基於binlog和基於GTID（全局事務標示符）；本文接下來將介紹基於binlog的一主一從復制；其復制的基本過程如下：
a.Master將數據改變記錄到二進制日志(binary log)中 b.Slave上面的IO進程連接上Master，並請求從指定日志文件的指定位置（或者從最開始的日志）之后的日志內容 c.Master接收到來自Slave的IO進程的請求后，負責復制的IO進程會根據請求信息讀取日志指定位置之后的日志信息，返回給Slave的IO進程。 返回信息中除了日志所包含的信息之外，還包括本次返回的信息已經到Master端的bin-log文件的名稱以及bin-log的位置 d.Slave的IO進程接收到信息后，將接收到的日志內容依次添加到Slave端的relay-log文件的最末端，並將讀取到的Master端的 bin-log的 文件名和位置記錄到master-info文件中，以便在下一次讀取的時候能夠清楚的告訴Master從某個bin-log的哪個位置開始往后的日志內容 e.Slave的Sql進程檢測到relay-log中新增加了內容后，會馬上解析relay-log的內容成為在Master端真實執行時候的那些可執行的內容，並在自身執行
接下來使用實例演示基於binlog的主從復制：
a.配置master 主要包括設置復制賬號，並授予REPLICATION SLAVE權限，具體信息會存儲在於master.info文件中，及開啟binlog； mysql> CREATE USER 'test'@'%' IDENTIFIED BY '123456'; mysql> GRANT REPLICATION SLAVE ON *.* TO 'test'@'%'; mysql> show variables like "log_bin"; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin | ON | +---------------+-------+ 查看master當前binlogmysql狀態：mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000003 | 120 | | | | +------------------+----------+--------------+------------------+-------------------+ 建表插入數據： CREATE TABLE `tb_person` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(36) NOT NULL, `address` varchar(36) NOT NULL DEFAULT '', `sex` varchar(12) NOT NULL DEFAULT 'Man' , `other` varchar(256) NOT NULL , PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8; insert into tb_person set name="name1", address="beijing", sex="man", other="nothing"; insert into tb_person set name="name2", address="beijing", sex="man", other="nothing"; insert into tb_person set name="name3", address="beijing", sex="man", other="nothing"; insert into tb_person set name="name4", address="beijing", sex="man", other="nothing"; b.配置slave Slave的配置類似master，需額外設置relay_log參數，slave沒有必要開啟二進制日志，如果slave為其它slave的master，須設置bin_log c.連接master mysql> CHANGE MASTER TO MASTER_HOST='10.108.111.14', MASTER_USER='test', MASTER_PASSWORD='123456', MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=120; d.show slave status; mysql> show slave status\G *************************** 1. row *************************** Slave_IO_State: ---------------------------- slave io狀態，表示還未啟動 Master_Host: 10.108.111.14 Master_User: test Master_Port: 20126 Connect_Retry: 60 ------------------------- master宕機或連接丟失從服務器線程重新嘗試連接主服務器之前睡眠時間 Master_Log_File: mysql-bin.000003 ------------ 當前讀取master binlog文件 Read_Master_Log_Pos: 120 ------------------------- slave讀取master binlog文件位置 Relay_Log_File: relay-bin.000001 ------------ 回放binlog Relay_Log_Pos: 4 -------------------------- 回放relay log位置 Relay_Master_Log_File: mysql-bin.000003 ------------ 回放log對應maser binlog文件 Slave_IO_Running: No Slave_SQL_Running: No Exec_Master_Log_Pos: 0 --------------------------- 相對於master從庫的sql線程執行到的位置 Seconds_Behind_Master: NULL Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running為NO說明slave還沒有開始復制過程。 e.啟動復制 start slave f.再次觀察slave狀態 mysql> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event -- 等待master新的event Master_Host: 10.108.111.14 Master_User: test Master_Port: 20126 Connect_Retry: 60 Master_Log_File: mysql-bin.000003 Read_Master_Log_Pos: 3469 ---------------------------- 3469 等於Exec_Master_Log_Pos，已完成回放 Relay_Log_File: relay-bin.000002 || Relay_Log_Pos: 1423 || Relay_Master_Log_File: mysql-bin.000003 || Slave_IO_Running: Yes || Slave_SQL_Running: Yes || Exec_Master_Log_Pos: 3469 -----------------------------3469 等於slave讀取master binlog位置，已完成回放 Seconds_Behind_Master: 0 可看到slave的I/O和SQL線程都已經開始運行，而且Seconds_Behind_Master=0。Relay_Log_Pos增加，意味着一些事件被獲取並執行了。 最后看下如何正確判斷SLAVE的延遲情況，判定slave是否追上master的binlog： 1、首先看 Relay_Master_Log_File 和 Maser_Log_File 是否有差異； 2、如果Relay_Master_Log_File 和 Master_Log_File 是一樣的話，再來看Exec_Master_Log_Pos 和 Read_Master_Log_Pos 的差異，對比SQL線程比IO線程慢了多少個binlog事件； 3、如果Relay_Master_Log_File 和 Master_Log_File 不一樣，那說明延遲可能較大，需要從MASTER上取得binlog status，判斷當前的binlog和MASTER上的差距； 4、如果以上都不能發現問題，可使用pt_heartbeat工具來監控主備復制的延遲。 g.查詢slave數據，主從一致 mysql> select * from tb_person; +----+-------+---------+-----+---------+ | id | name | address | sex | other | +----+-------+---------+-----+---------+ | 5 | name4 | beijing | man | nothing | | 6 | name2 | beijing | man | nothing | | 7 | name1 | beijing | man | nothing | | 8 | name3 | beijing | man | nothing | +----+-------+---------+-----+---------+ 關於mysql復制的內容還有很多，比如不同的同步方式、復制格式情況下有什么區別，有什么特點，應該在什么情況下使用....這里不再一一介紹。
6.恢復
恢復是binlog的兩大主要作用之一，接下來通過實例演示如何利用binlog恢復數據：
a.首先，看下當前binlog位置
mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000008 | 1847 | | | | +------------------+----------+--------------+------------------+-------------------+ b.向表tb_person中插入兩條記錄： insert into tb_person set name="person_1", address="beijing", sex="man", other="test-1"; insert into tb_person set name="person_2", address="beijing", sex="man", other="test-2"; c.記錄當前binlog位置： mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +----------------