還有一種簡單的方法 參考
https://blog.csdn.net/u010098331/article/details/50932064
(注意:5.6版本以上新加了gtid 功能,gtid開啟之后,默認不執行已經執行過的事務。直接還原是還原不了的,所以將二進制文件倒成sql文件時或二進制直接還原時:要加--skip-gtids參數或是要重新建個實例,將數據恢復到這個新建的實例里。我個人認為加參數好使)
其實就是 將二進制文件倒成sql文件例: mysqlbinlog --skip-gtids mysql-bin-0000001 > test.sql (gtid開啟之后,默認不執行已經執行過的事務所以要加--skip-gtids參數)
這樣 就可以vim test.sql文件 將drop 命令刪掉,或是根據時間導入
通過查看二進制日志,可以分析道在哪個時間點以及哪個節點執行了這些操作,現在對刪掉的數據進行恢復
1./usr/local/mysql/bin/mysqlbinlog --skip-gtids --start-position=2017 --stop-position=3607 /usr/local/mysql/data/mysql-bin.000001 > backup1.sql
解釋
--start-position=2017 開始節點為2017
--stop-position=3607 結束節點為3607
通過查看二進制日志可以看到,在2017到3607這兩個節點內,我們創建了6,7,8,9這四條數據,此時我們就可以通過這段節點,來生成sql文件,用來還原
mysql -uroot -p shishi < backup1.sql
上面是我認為比較簡單的增量備份,下面是比較復雜的增量備份 (注意一點mysqldump 和 mysqlbinlog 是安裝mysql的bin下的命令)
在日常運維工作中,對mysql數據庫的備份是萬分重要的,以防在數據庫表丟失或損壞情況出現,可以及時恢復數據。
線上數據庫備份場景:
每周日執行一次全量備份,然后每天下午1點增量備份一次.
下面對這種備份方案詳細說明下:
1.mysqldump增量備份配置
執行增量備份的前提條件是MySQL打開binlog日志功能,在my.cnf中加入
log-bin=mysql-bin (或是指定路徑 /home/mysql/data/mysql-bin 同時會產生一個mysql-bin.index的文件,記錄是二進制的日志)
“log-bin=”后的字符串為日志記載目錄,一般建議放在不同於MySQL數據目錄的磁盤上。
2.mysqldump增量備份
假定星期日下午1點執行全量備份,適用於MyISAM存儲引擎。
[root@test-huanqiu ~]# mysqldump --lock-all-tables --flush-logs --master-data=2 -u root -p密碼 test > backup_sunday_1_PM.sql
對於InnoDB將--lock-all-tables替換為--single-transaction
--flush-logs為結束當前日志,生成新日志文件;
--master-data=2 選項將會在輸出SQL中記錄下完全備份后新日志文件的名稱,
用於日后恢復時參考,例如輸出的備份SQL文件中含有:
CHANGE MASTER TO MASTER_LOG_FILE=’MySQL-bin.000002′, MASTER_LOG_POS=106;
3.mysqldump增量備份其他說明:
如果MySQLdump加上–delete-master-logs 則清除以前的日志,以釋放空間。但是如果服務器配置為鏡像的復制主服務器,用MySQLdump –delete-master-logs刪掉MySQL二進制日志很危險,因為從服務器可能還沒有完全處理該二進制日志的內容。在這種情況下,使用 PURGE MASTER LOGS更為安全。
每日定時使用 MySQLadmin flush-logs來創建新日志,並結束前一日志寫入過程。並把前一日志備份,例如上例中開始保存數據目錄下的日志文件 MySQL-bin.000002 , ...
1.恢復完全備份
mysql -u root -p < backup_sunday_1_PM.sql
2.恢復增量備份
( ((注意:5.6版本以上新加了gtid 功能,gtid開啟之后,默認不執行已經執行過的事務。直接還原是還原不了的,所以將二進制文件倒成sql文件或二進制直接還原時:要加--skip-gtids參數或是要重新建個實例,將數據恢復到這個新建的實例里。我個人認為加參數好使。或reset master試一下))
mysqlbinlog --skip-gtids mysql-bin.000002 … | MySQL -u root -p 注意此次恢復過程亦會寫入日志文件,如果數據量很大,建議先關閉日志功能
--compatible=name
它告訴 MySQLdump,導出的數據將和哪種數據庫或哪個舊版本的 MySQL 服務器相兼容。值可以為 ansi、MySQL323、MySQL40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options 等,要使用幾個值,用逗號將它們隔開。當然了,它並不保證能完全兼容,而是盡量兼容。
--complete-insert,-c
導出的數據采用包含字段名的完整 INSERT 方式,也就是把所有的值都寫在一行。這么做能提高插入效率,但是可能會受到 max_allowed_packet 參數的影響而導致插入失敗。因此,需要謹慎使用該參數,至少我不推薦。
--default-character-set=charset
指定導出數據時采用何種字符集,如果數據表不是采用默認的 latin1 字符集的話,那么導出時必須指定該選項,否則再次導入數據后將產生亂碼問題。
--disable-keys
告訴 MySQLdump 在 INSERT 語句的開頭和結尾增加 /*!40000 ALTER TABLE table DISABLE KEYS */; 和 /*!40000 ALTER TABLE table ENABLE KEYS */; 語句,這能大大提高插入語句的速度,因為它是在插入完所有數據后才重建索引的。該選項只適合 MyISAM 表。
--extended-insert = true|false
默認情況下,MySQLdump 開啟 --complete-insert 模式,因此不想用它的的話,就使用本選項,設定它的值為 false 即可。
--hex-blob
使用十六進制格式導出二進制字符串字段。如果有二進制數據就必須使用本選項。影響到的字段類型有 BINARY、VARBINARY、BLOB。
--lock-all-tables,-x
在開始導出之前,提交請求鎖定所有數據庫中的所有表,以保證數據的一致性。這是一個全局讀鎖,並且自動關閉 --single-transaction 和 --lock-tables 選項。
--lock-tables
它和 --lock-all-tables 類似,不過是鎖定當前導出的數據表,而不是一下子鎖定全部庫下的表。本選項只適用於 MyISAM 表,如果是 Innodb 表可以用 --single-transaction 選項。
--no-create-info,-t
只導出數據,而不添加 CREATE TABLE 語句。
--no-data,-d
不導出任何數據,只導出數據庫表結構。
mysqldump -u用戶 -p密碼 --no-data --databases mydatabase1 mydatabase2 mydatabase3 > test.dump
將只備份表結構。--databases指示主機上要備份的數據庫。
--opt
這只是一個快捷選項,等同於同時添加 --add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset 選項。本選項能讓 MySQLdump 很快的導出數據,並且導出的數據能很快導回。該選項默認開啟,但可以用 --skip-opt 禁用。注意,如果運行 MySQLdump 沒有指定 --quick 或 --opt 選項,則會將整個結果集放在內存中。如果導出大數據庫的話可能會出現問題。
--quick,-q
該選項在導出大表時很有用,它強制 MySQLdump 從服務器查詢取得記錄直接輸出而不是取得所有記錄后將它們緩存到內存中。
--routines,-R
導出存儲過程以及自定義函數。
--single-transaction
該選項在導出數據之前提交一個 BEGIN SQL語句,BEGIN 不會阻塞任何應用程序且能保證導出時數據庫的一致性狀態。它只適用於事務表,例如 InnoDB 和 BDB。本選項和 --lock-tables 選項是互斥的,因為 LOCK TABLES 會使任何掛起的事務隱含提交。要想導出大表的話,應結合使用 --quick 選項。
--triggers
同時導出觸發器。該選項默認啟用,用 --skip-triggers 禁用它。
跨主機備份
使用下面的命令可以將host1上的sourceDb復制到host2的targetDb,前提是host2主機上已經創建targetDb數據庫:
-C 指示主機間的數據傳輸使用數據壓縮
mysqldump --host=host1 --opt sourceDb| mysql --host=host2 -C targetDb
結合Linux的cron命令實現定時備份
比如需要在每天凌晨1:30備份某個主機上的所有數據庫並壓縮dump文件為gz格式
30 1 * * * mysqldump -u root -pPASSWORD --all-databases | gzip > /mnt/disk2/database_`date '+%m-%d-%Y'`.sql.gz
實例1,比如備份數據庫opspc
[root@test-huanqiu ~]# vim /root/backup.sh
#!bin/bash
echo "Begin backup mysql database"
mysqldump -u root -ppassword opspc > /home/backup/mysqlbackup-`date +%Y-%m-%d`.sql
echo "Your database backup successfully completed"
[root@test-huanqiu ~]# crontab -e
30 1 * * * /bin/bash -x /root/backup.sh > /dev/null 2>&1
mysqldump全量備份+mysqlbinlog二進制日志增量備份
1)從mysqldump備份文件恢復數據會丟失掉從備份點開始的更新數據,所以還需要結合mysqlbinlog二進制日志增量備份。
首先確保已開啟binlog日志功能。在my.cnf中包含下面的配置以啟用二進制日志:
[mysqld]
log-bin=mysql-bin
2)mysqldump命令必須帶上--flush-logs選項以生成新的二進制日志文件:
mysqldump --single-transaction --flush-logs --master-data=2 > backup.sql
其中參數--master-data=[0|1|2]
0: 不記錄
1:記錄為CHANGE MASTER語句
2:記錄為注釋的CHANGE MASTER語句
mysqldump全量+增量備份方案的具體操作可參考下面兩篇文檔:
http://www.cnblogs.com/kevingrace/p/5904800.html
http://www.cnblogs.com/kevingrace/p/5907254.html
--------------------------------------------------------------------------
下面分享mysqldump全量和增量備份腳本
1)增量備份在周一到周六凌晨3點,會復制mysql-bin.00000*到指定目錄;
2)全量備份則使用mysqldump將所有的數據庫導出,每周日凌晨3點執行,並會刪除上周留下的mysq-bin.00000*,然后對mysql的備份操作會保留在bak.log文件中。
腳本實現:
1)全量備份腳本(假設mysql登錄密碼為123456;注意腳本中的命令路徑):
[root@test-huanqiu ~]# vim /root/Mysql-FullyBak.sh
#!/bin/bash
# Program
# use mysqldump to Fully backup mysql data per week!
# History
# Path
BakDir=/home/mysql/backup #backup 備份目錄 如果是第一次要新建
LogFile=/home/mysql/backup/bak.log #備份文件 如果是第一次要新建
Date=`date +%Y%m%d` #當前時間
Begin=`date +"%Y年%m月%d日 %H:%M:%S"` #當前時間到秒
cd $BakDir #cd 到備份的目錄
DumpFile=$Date.sql #備份文件名
GZDumpFile=$Date.sql.tgz #將備份文件壓縮名
/usr/bin/mysqldump -uroot -p123456 --quick --events --all-databases --flush-logs --single-transaction > $DumpFile #備份所有的庫
/bin/tar -zvcf $GZDumpFile $DumpFile #壓縮
/bin/rm $DumpFile #刪除備份的sql文件,因為已經壓縮只要壓縮的就可以
Last=`date +"%Y年%m月%d日 %H:%M:%S"` #這是執行命令后的時間
echo 開始:$Begin 結束:$Last $GZDumpFile succ >> $LogFile #將備份和 備份后的時間追加到備份文件里
cd $BakDir/daily #daily這個目錄是存放增量備份的目錄,全備份后刪除以前增量備份的(注意:一定是限制性增量備份在執行全備的)
/bin/rm -f *
2)增量備份腳本(腳本中mysql二進制放路徑是/home/mysql/data,具體根據自己的實際情況進行調整)
( 增量備份說白了就是 將二進制文件復制到一個備份文件里,一邊以后恢復)
[root@test-huanqiu ~]# vim /root/Mysql-DailyBak.sh
#!/bin/bash
# Program
# use cp to backup mysql data everyday!
# History
# Path
BakDir=/home/mysql/backup/daily #增量備份時復制二進制文件(mysql-bin.00000*到備份的目錄里,提前手動創建這個目錄
BinDir=/home/mysql/data #二進制的存放路徑(在my.conf里指定)
LogFile=/home/mysql/backup/bak.log #備份日志 如果沒用要新建
BinFile=/home/mysql/data/mysql-bin.index #只要開啟二進制,就會在存放二進制的目錄里產生,以二進制為名.index文件
/usr/bin/mysqladmin -uroot -p123456 flush-logs #這個是用於產生新的mysql-bin.00000*文件
Counter=`wc -l $BinFile |awk '{print $1}'` #統計以二進制為名.index文件里的二進制文件
#開始循環,這個for循環用於比對$Counter,$NextNum這兩個值來確定文件是不是存在或最新的
NextNum=0
for file in `cat $BinFile`
do
base=`basename $file` #basename用於截取mysql-bin.00000*文件名,去掉./mysql-bin.000005前面的./
NextNum=`expr $NextNum + 1`
if [ $NextNum -eq $Counter ] #如果NextNum 等於 統計的統計的二進制數,就輸入跳過
then
echo $base skip! >> $LogFile
else
dest=$BakDir/$base #否則就判斷/home/mysql/backup/daily目錄下有沒有之歌二進制文件$dase
if(test -e $dest)
#test -e用於檢測目標文件是否存在,存在就寫存在到$LogFile去
then
echo $base exist! >> $LogFile
else #如果沒有就復制之歌二進制到/home/mysql/backup/daily里
cp $BinDir/$base $BakDir
echo $base copying >> $LogFile
fi
fi
done
echo `date +"%Y年%m月%d日 %H:%M:%S"` $Next Bakup succ! >> $LogFile #最后將結束時間追加到 備份日志里
3)設置crontab任務,執行備份腳本。先執行的是增量備份腳本,然后執行的是全量備份腳本:
[root@test-huanqiu ~]# crontab -e
#每個星期日凌晨3:00執行完全備份腳本
0 3 * * 0 /bin/bash -x /root/Mysql-FullyBak.sh >/dev/null 2>&1
#周一到周六凌晨3:00做增量備份
0 3 * * 1-6 /bin/bash -x /root/Mysql-DailyBak.sh >/dev/null 2>&1
4)手動執行上面兩個腳本,測試下備份效果
[root@test-huanqiu backup]# pwd
/home/mysql/backup
[root@test-huanqiu backup]# mkdir daily
[root@test-huanqiu backup]# ll
total 4
drwxr-xr-x. 2 root root 4096 Nov 29 11:29 daily
[root@test-huanqiu backup]# ll daily/
total 0
先執行增量備份腳本
[root@test-huanqiu backup]# sh /root/Mysql-DailyBak.sh
[root@test-huanqiu backup]# ll
total 8
-rw-r--r--. 1 root root 121 Nov 29 11:29 bak.log
drwxr-xr-x. 2 root root 4096 Nov 29 11:29 daily
[root@test-huanqiu backup]# ll daily/
total 8
-rw-r-----. 1 root root 152 Nov 29 11:29 mysql-binlog.000030
-rw-r-----. 1 root root 152 Nov 29 11:29 mysql-binlog.000031
[root@test-huanqiu backup]# cat bak.log
mysql-binlog.000030 copying
mysql-binlog.000031 copying
mysql-binlog.000032 skip!
2016年11月29日 11:29:32 Bakup succ!
然后執行全量備份腳本
[root@test-huanqiu backup]# sh /root/Mysql-FullyBak.sh
20161129.sql
[root@test-huanqiu backup]# ll
total 152
-rw-r--r--. 1 root root 145742 Nov 29 11:30 20161129.sql.tgz
-rw-r--r--. 1 root root 211 Nov 29 11:30 bak.log
drwxr-xr-x. 2 root root 4096 Nov 29 11:30 daily
[root@test-huanqiu backup]# ll daily/
total 0
[root@test-huanqiu backup]# cat bak.log
mysql-binlog.000030 copying
mysql-binlog.000031 copying
mysql-binlog.000032 skip!
2016年11月29日 11:29:32 Bakup succ!
開始:2016年11月29日 11:30:38 結束:2016年11月29日 11:30:38 20161129.sql.tgz succ
