MySQL Flashback 閃回功能詳解

1. 簡介

mysqlbinlog flashback（閃回）用於快速恢復由於誤操作丟失的數據。在DBA誤操作時，可以把數據庫恢復到以前某個時間點（或者說某個binlog的某個pos）。比如忘了帶where條件的update、delete操作，傳統的恢復方式是利用全備+二進制日志前滾進行恢復，相比於傳統的全備+增備，flashback顯然更為快速、簡單。

目前MySQL的flashback功能是利用binlog完成的，第一個實現該功能的是阿里雲的彭立勛， 他在MySQL 5.5版本上就已實現，並將其提交給MariaDB。

 

2. 閃回原理

原理：flashback工具（-B 參數）可對rows格式的binlog可以進行逆向操作，delete反向生成insert、update生成反向的update、insert反向生成delete。

MySQL的binlog以event的形式，記錄了MySQL中所有的變更情況，利用binlog我們就能夠重現所記錄的所有操作。

MySQL引入binlog主要有兩個用途/目的：一是為了主從復制；二是用於備份恢復后需要重新應用部分binlog，從而達到全備+增備的效果。

MySQL的binlog有三種格式：

• statement，基於SQL語句的模式，一般來說生成的binlog尺寸較小，但是某些不確定性SQL語句或函數在復制過程可能導致數據不一致甚至出錯；
• row，基於數據行的模式，記錄的是數據行的完整變化。相對更安全，推薦使用（但通常生成的binlog會比其他兩種模式大很多）；
• mixed，混合模式，可以根據情況自動選用statement抑或row模式；這個模式下也可能造成主從數據不一致。它屬於MySQL 5.1版本時期的過渡方案，已不推薦使用了。

注意：使用mysqlbinlog flashback 工具必須設置：binlog_format = row

 

3. flashback安裝

下載flashback工具 mysqlbinlog ： https://pan.baidu.com/s/1c1Ub1x2，並將mysqlbinlog文件移至mysql安裝路徑的bin目錄下(可備份原來的mysqlbinlog為mysqlbinlog_bak)，執行mysqlbinlog --help命令，可能會報錯(系統版本為 CentOS 6.4_x64)：

[root@centos64-slave1 bin]# mysqlbinlog --help
mysqlbinlog: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.15' not found (required by mysqlbinlog)

需要安裝新版本的libstdc++.so.6，下載鏈接：https://pan.baidu.com/s/1gfIarCn 

[root@centos64-slave1 ~]# cp libstdc++.so.6.0.20  /usr/lib64/
[root@centos64-slave1 ~]# cd /usr/lib64/
[root@centos64-slave1 lib64]# mv libstdc++.so.6 libstdc++.so.6_bak
[root@centos64-slave1 lib64]# ln -s libstdc++.so.6.0.20 libstdc++.so.6
[root@centos64-slave1 lib64]# ll libstdc*
lrwxrwxrwx  1 root root      19 4月   6 09:30 libstdc++.so.6 -> libstdc++.so.6.0.20
-rwxr-xr-x. 1 root root  987096 7月  19 2013 libstdc++.so.6.0.13
-rw-r--r--  1 root root 1011824 4月   6 09:28 libstdc++.so.6.0.20
lrwxrwxrwx. 1 root root      19 1月  14 12:25 libstdc++.so.6_bak -> libstdc++.so.6.0.13

安裝完后執行mysqlbinlog --help，若報錯：mysqlbinlog: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /usr/lib64/libstdc++.so.6)，需要更新/lib64庫文件。下載鏈接：https://pan.baidu.com/s/1kViGrIZ

# tar zxvf  glibc-2.14.tar.gz
# cd glibc-2.14
# mkdir build
# cd build
# ../configure  --prefix=/opt/glibc-2.14
　##　檢查是否有問題。
# make  ## (4核可加-j4 ，8核可加-j8)
# make install
# strings libc.so | grep GLIBC   ## 這是我們需要的lib了，然后去更新系統的庫
# cp libc.so  /lib64/libc-2.14.so
# mv /lib64/libc.so.6   /lib64/libc.so.6_bak
# LD_PRELOAD=/lib64/libc-2.14.so ln -s  /lib64/libc-2.14.so  /lib64/libc.so.6  
# strings /lib64/libc.so.6 | grep GLIBC 

安裝完成后執行：

[root@centos64-slave1 ~]# mysqlbinlog -V
mysqlbinlog Ver 3.4-InnoSQL for Linux at x86_64
[root@centos64-slave1 ~]# mysqlbinlog --help |grep flashback
  -B, --flashback     Flashback data to start_postition or start_datetime.
  -E, --fb-event=name only flashback this type of
flashback                         FALSE

發現mysqlbinlog版本已變為3.4-InnoSQL(之前的版本為3.4)，且多了一個 -B 參數，此參數即用於實現flashback功能。到此，mysqlbinlog已安裝完成！

 

4. ldconfig 解決依賴庫

上面我們介紹過了直接替換 /lib64 的軟連接來解決 mysqlbinlog 的依賴問題，但是這樣做對於系統來說有一定的風險性，這里采用 ldconfig 解決。ldconfig 是一個動態鏈接庫管理命令，其目的為了讓動態鏈接庫為系統所共享。

mysqlbinlog5.7 -V    #該命令已經集成到系統環境變量，可以直接調用
mysqlbinlog5.7: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.15' not found (required by mysqlbinlog5.7)

添加 MySQL的庫環境到 ldconfig 配置文件：

echo "/data/mysql-5.7.21-linux-glibc2.12-x86_64/lib" >> /etc/ld.so.conf

然后把需要的庫文件上傳到  /data/mysql-5.7.21-linux-glibc2.12-x86_64/lib  目錄下。

# chmod +x libc-2.14.so libstdc++.so.6.0.20 
# ldconfig　　重載，系統會給庫文件自動創建軟連接
# mysqlbinlog5.7 -V
mysqlbinlog5.7: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /data/dmx/mysql-5.7.21-linux-glibc2.12-x86_64/lib/libstdc++.so.6)

報錯發生了變化，
echo $LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/data/mysql-5.7.21-linux-glibc2.12-x86_64/lib
並將 LD_LIBRARY_PATH 寫到 /etc/profile :
export LD_LIBRARY_PATH=/data//mysql-5.7.21-linux-glibc2.12-x86_64/lib
source /etc/profile
但是這個方法需要退出bash,重新登錄，對於consul等一些監控程序不友好。

 

5. 使用簡介

先創建一張表user，向user表中插入一條數據，查看binlog日志內容，可以找到剛才插入的記錄：

# mysqlbinlog -vv mysql-bin.000004 

### INSERT INTO `test`.`user`
### SET
###   @1=30 /* SHORTINT meta=0 nullable=1 is_null=0 */
###   @2='Stephen Curry' /* VARSTRING(80) meta=80 nullable=1 is_null=0 */

然后使用flashback工具(-B參數)查看binlog內容，可以找到剛才插入記錄的逆向操作：

# mysqlbinlog -vv mysql-bin.000004 -B

### DELETE FROM `test`.`user`
### WHERE
###   @1=30 /* SHORTINT meta=0 nullable=1 is_null=0 */
###   @2='Stephen Curry' /* VARSTRING(80) meta=80 nullable=1 is_null=0 */

同理，delete操作將會被轉換為insert，update被轉換為反向的update；若在一個事務中既有insert、update、delete語句，通過使用-B參數后，不僅三種DML語句完成了逆向轉換，並且語句順序也會發生顛倒。

在binlog中找到誤操作的pos變化區間后，使用mysqlbinlog -B 恢復：

# mysqlbinlog -B --start-position=296 --stop-position=429 mysql-bin.000004 | mysql -uroot -p

 注意：MySQL5.7版本執行恢復時不能加 --base64-output=decode-rows 參數，-v 參數可以加，否則binlog中的語句不會被執行。

另外，如果遇到：ERROR 1782 (HY000) at line 13: @@SESSION.GTID_NEXT cannot be set to ANONYMOUS when @@GLOBAL.GTID_MODE = ON.

需要加上 --skip-gtids 參數， mysqlbinlog mysql-bin.001024 -B --start-position=908 --stop-position=1156 --skip-gtids | mysql

 

6. Flashback工具使用注意點

• binlog日志格式必須是ROW格式：binlog_format = row ;
• 一個事務中的DML語句不僅會逆向轉換，並且語句順序也會發生顛倒；
• 只支持 insert、update、delete ， 不支持drop 、truncate、alter等DDL語句。

 

附

美團點評又出了另一款閃回工具MyFlash，據說比 mysqlbinlog 具有更高效的閃回效果，項目地址：https://github.com/Meituan-Dianping/MyFlash