binlog2sql之MySQL數據閃回實踐

本文轉載自查看原文 2017-03-23 16:42 4653 MySQL

DBA或開發人員，有時會誤刪或者誤更新數據，如果是線上環境並且影響較大，就需要能快速回滾。傳統恢復方法是利用備份重搭實例，再應用去除錯誤sql后的binlog來恢復數據。此法費時費力，甚至需要停機維護，並不適合快速回滾。也有團隊利用LVM快照來縮短恢復時間，但快照的缺點是會影響mysql的性能。現在有不少好用而且效率又高的開源閃回工具如binlog2sql、mysqlbinlog_flashback，這些工具在工作中給DBA減輕了不少痛苦，以下針對binlog2sql的使用進行實踐演練。

binlog2sql的用途：

數據快速回滾(閃回)
主從切換后數據不一致的修復
從binlog生成標准SQL，帶來的衍生功能

安裝binlog2sql前先安裝git和pip：

yum -y install epel-release

yum -y install git  python-pip

安裝binlog2sql：

git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql

pip install -r requirements.txt

MySQL的配置要開啟以下選項：

[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full

要授權一個用戶有以下權限：

SELECT, REPLICATION SLAVE, REPLICATION CLIENT

權限說明：

select：需要讀取server端information_schema.COLUMNS表，獲取表結構的元信息，拼接成可視化的sql語句
super/replication client：兩個權限都可以，需要執行'SHOW MASTER STATUS', 獲取server端的binlog列表
replication slave：通過BINLOG_DUMP協議獲取binlog內容的權限

binlog2sql的使用參數說明：

mysql連接配置

-h host; -P port; -u user; -p password

解析模式

--stop-never 持續同步binlog。可選。不加則同步至執行命令時最新的binlog位置。

-K, --no-primary-key 對INSERT語句去除主鍵。可選。

-B, --flashback 生成回滾語句，可解析大文件，不受內存限制，每打印一千行加一句SLEEP SELECT(1)。可選。與stop-never或no-primary-key不能同時添加。

解析范圍控制

--start-file 起始解析文件。必須。

--start-position/--start-pos start-file的起始解析位置。可選。默認為start-file的起始位置。

--stop-file/--end-file 末尾解析文件。可選。默認為start-file同一個文件。若解析模式為stop-never，此選項失效。

--stop-position/--end-pos stop-file的末尾解析位置。可選。默認為stop-file的最末位置；若解析模式為stop-never，此選項失效。

--start-datetime 從哪個時間點的binlog開始解析，格式必須為datetime，如'2016-11-11 11:11:11'。可選。默認不過濾。

--stop-datetime 到哪個時間點的binlog停止解析，格式必須為datetime，如'2016-11-11 11:11:11'。可選。默認不過濾。

對象過濾

-d, --databases 只輸出目標db的sql。可選。默認為空。

-t, --tables 只輸出目標tables的sql。可選。默認為空。

進行用戶授權操作（這里只是舉例子）：

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO  'flashuser'@'127.0.0.1' identified by 'flash123';
Query OK, 0 rows affected (0.00 sec)

我們可以看看現在有的數據：

mysql>  show global variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

mysql>

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000107 |      120 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql> select * from tb1;
+------+------+
| id   | name |
+------+------+
|    1 | aa   |
|    2 | bb   |
+------+------+
2 rows in set (0.00 sec)

mysql>

我們現在進行數據的DML操作：

mysql>  insert into tb1 values (3,'cc');
Query OK, 1 row affected (0.00 sec)

mysql>  insert into tb1 values (4,'dd');
Query OK, 1 row affected (0.00 sec)

mysql>  update tb1 set name='new_aa' where id=1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql>  delete from tb1 where id=2;
Query OK, 1 row affected (0.00 sec)

mysql>  select * from tb1;
+------+--------+
| id   | name   |
+------+--------+
|    1 | new_aa |
|    3 | cc     |
|    4 | dd     |
+------+--------+
3 rows in set (0.00 sec)

mysql>

下面我們使用binlog2sql進行格式為ROW的binlog生成標准SQL，帶個-d的參數指定庫名：

[root@db_server_xuanzhi ~]#python binlog2sql.py -uflashuser -h127.0.0.1 -pflash123 -dxuanzhi --start-file='mysql-bin.000107' > xuanzhi.sql 
[root@db_server_xuanzhi ~]#cat xuanzhi.sql 
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (3, 'cc'); #start 4 end 290 time 2017-03-23 10:41:34
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (4, 'dd'); #start 321 end 491 time 2017-03-23 10:41:38
UPDATE `xuanzhi`.`tb1` SET `id`=1, `name`='new_aa' WHERE `id`=1 AND `name`='aa' LIMIT 1; #start 522 end 705 time 2017-03-23 10:41:42
DELETE FROM `xuanzhi`.`tb1` WHERE `id`=2 AND `name`='bb' LIMIT 1; #start 736 end 906 time 2017-03-23 10:41:50
[root@db_server_xuanzhi ~]#

我們可以看到，剛剛執行過的sql都生成出來了。

我們現在對xuanzhi這個庫的所有操作生成反向SQL，這個時候需要在上面語句的基礎上帶一個-B參數，就是flashback閃回的意思：

[root@db_server_xuanzhi ~]#python binlog2sql.py -uflashuser -h127.0.0.1 -pflash123 -dxuanzhi --start-file='mysql-bin.000107' -B  > rollback_xuanzhi.sql
[root@db_server_xuanzhi ~]#cat rollback_xuanzhi.sql 
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (2, 'bb'); #start 736 end 906 time 2017-03-23 10:41:50
UPDATE `xuanzhi`.`tb1` SET `id`=1, `name`='aa' WHERE `id`=1 AND `name`='new_aa' LIMIT 1; #start 522 end 705 time 2017-03-23 10:41:42
DELETE FROM `xuanzhi`.`tb1` WHERE `id`=4 AND `name`='dd' LIMIT 1; #start 321 end 491 time 2017-03-23 10:41:38
DELETE FROM `xuanzhi`.`tb1` WHERE `id`=3 AND `name`='cc' LIMIT 1; #start 4 end 290 time 2017-03-23 10:41:34
[root@db_server_xuanzhi ~]#

可以看到生成了跟上面標准SQL相反的SQL了，通過這些反向SQL可以進行誤操的數據恢復。

下面我們模擬對線上數據進行誤操及恢復的過程：

模擬一：誤操把一個表的某些重要記錄刪除了，進行恢復

我們把tb1的id>=3的數據刪除：

mysql> select * from tb1;
+----+------+
| id | name |
+----+------+
|  1 | aa   |
|  2 | bb   |
|  3 | cc   |
|  4 | dd   |
+----+------+
4 rows in set (0.00 sec)

mysql> delete from tb1 where id >= 3;
Query OK, 2 rows affected (0.00 sec)

mysql> select * from tb1;            
+----+------+
| id | name |
+----+------+
|  1 | aa   |
|  2 | bb   |
+----+------+
2 rows in set (0.00 sec)

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000109 |      329 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

現在通過binlog2sql進行生成反向SQL，binlog2sql可以指定生成那個庫的那個表的標准SQL或者反向SQL，帶一個-t的選擇：

[root@db_server_xuanzhi ~]# python binlog2sql.py -uflashuser -h127.0.0.1 -pflash123 -dxuanzhi -ttb1 --start-file='mysql-bin.000109' -B  > rollback_tb1.sql 
[root@db_server_xuanzhi ~]# cat rollback_tb1.sql 
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (4, 'dd'); #start 4 end 298 time 2017-03-23 12:39:20
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (3, 'cc'); #start 4 end 298 time 2017-03-23 12:39:20

我們可以看剛剛對tb1進行誤刪的操作，都生成了反向的SQL語句也就是INSERT INTO，我們進行導入操作，看數據能否正常恢復

[root@db_server_xuanzhi ~]#mysql -uroot -p123456 <./rollback_tb1.sql 
Warning: Using a password on the command line interface can be insecure.
[root@db_server_xuanzhi ~]#

登錄查看一下數據：

mysql> select * from tb1;
+----+------+
| id | name |
+----+------+
|  1 | aa   |
|  2 | bb   |
|  3 | cc   |
|  4 | dd   |
+----+------+
4 rows in set (0.00 sec)

mysql>

可以看到數據可以正常的恢復。

模擬二：誤操作把一個表的數據刪除了，經常出現的就是delete沒帶where條件

mysql> select * from tb1;
+----+------+
| id | name |
+----+------+
|  1 | aa   |
|  2 | bb   |
|  3 | cc   |
|  4 | dd   |
+----+------+
4 rows in set (0.00 sec)

mysql> delete from tb1;
Query OK, 4 rows affected (0.00 sec)

mysql> select * from tb1;
Empty set (0.00 sec)

mysql> show master status;           
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000110 |      345 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>

我們用bin2log對這個表進行恢復：

[root@db_server_xuanzhi ~]# python binlog2sql.py -uflashuser -h127.0.0.1 -pflash123 -dxuanzhi -ttb1 --start-file='mysql-bin.000110' -B  > rollback_tb1.sql  
[root@db_server_xuanzhi ~]# cat rollback_tb1.sql 
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (4, 'dd'); #start 4 end 314 time 2017-03-23 13:37:29
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (3, 'cc'); #start 4 end 314 time 2017-03-23 13:37:29
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (2, 'bb'); #start 4 end 314 time 2017-03-23 13:37:29
INSERT INTO `xuanzhi`.`tb1`(`id`, `name`) VALUES (1, 'aa'); #start 4 end 314 time 2017-03-23 13:37:29
[root@db_server_xuanzhi ~]# mysql -uroot -p123456 <./rollback_tb1.sql                                                                   
Warning: Using a password on the command line interface can be insecure.

再查詢一下，數據是否把數據恢復了：

mysql> select * from tb1;
Empty set (0.00 sec)

<Slave_1>[xuanzhi]> show master status;           
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000110 |      345 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql> select * from tb1; 
+----+------+
| id | name |
+----+------+
|  1 | aa   |
|  2 | bb   |
|  3 | cc   |
|  4 | dd   |
+----+------+
4 rows in set (0.00 sec)

mysql>

可以看到可以正常恢復，但值得注意的是drop table 和truncate table 是無法生成反向SQL的,所以建議線上程序賬號只給insert，upfate，select，delete權限。

還有很多選項--stop-position/--end-pos stop-file、--start-datetime/--stop-datetime這些選項就不一一說明了，binlog2sql總的來說還是比較好用與實用的，以前寫過一篇博客binlog-rollback.pl 的博客，這個腳本也可以實現，但遇到比較大的binlog就可能會出現一些問題，下面是我在線上測試對1.1G的binlog用binlog2sql進行解析的時間（阿里雲的SSD盤）：

參考文章：

https://github.com/danfengcao/binlog2sql

https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md

總結：一、線上要對程序做好最小化權限控制，這樣可以減少很多不必要的麻煩。

二、現在開源比較好用的數據閃回工具有mysqlbinlog_flashback和binlog2sql，給DBA日常維護帶來了許多幫助。

作者：陸炫志

出處：xuanzhi的博客 http://www.cnblogs.com/xuanzhi201111

您的支持是對博主最大的鼓勵，感謝您的認真閱讀。本文版權歸作者所有，歡迎轉載，但請保留該聲明。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 MySQL 8.0版本 binlog2sql 解析binlog Centos7 使用 Binlog2sql 恢復Mysql8.0 數據 binlog2sql使用總結生產環境的binlog，放到本地測試環境用binlog2sql解析 MySQL閃回原理與實戰 MySQL的binlog數據如何查看 MySQL的binlog數據如何查看 MySQL Flashback 閃回功能詳解 Mysql查看binlog具體sql mysql從binlog恢復數據