結構如下:
熱備分為邏輯備份和裸文件備份。
裸文件備份比邏輯備份在速度上更快一些,因為它在底層復制數據文件。世界上唯一一款開源的,能夠對INNODB和XtrDB數據庫進行熱備的開源工具。
他的優點是備份與恢復過程的速度很快,安全可靠並且咋備份過程中不會鎖表,不影響現有業務。但是目前還是不能對表結構文件和其他非事物類型的表進行備份。
Xtrabackup包含了兩個主要工具,一個是xtrabackup,另一個是innodbbackupex。
xtrabackup 是用來備份 InnoDB 表的,不能備份非 InnoDB 表,和 mysqld server 沒有交互;innobackupex 腳本用來備份非 InnoDB 表,同時會調用 xtrabackup 命令來備份 InnoDB 表,還會和 mysqld server 發送命令進行交互,如加讀鎖(FTWRL)、獲取位點(SHOW SLAVE STATUS)等。簡單來說,innobackupex 在 xtrabackup 之上做了一層封裝。
一般情況下,我們是希望能備份 MyISAM 表的,雖然我們可能自己不用 MyISAM 表,但是 mysql 庫下的系統表是 MyISAM 的,因此備份基本都通過 innobackupex 命令進行;另外一個原因是我們可能需要保存位點信息。
一、環境准備(並安裝)
下載地址:
https://www.percona.com/downloads/XtraBackup/LATEST/
選擇最新版本,對低版本的MYSQL也可以進行備份。
tar -zxvf percona-xtrabackup-2.4.9-Linux-x86_64.tar.gz
cd /soft/percona-xtrabackup-2.4.9-Linux-x86_64/bin/
[root@mysql5 bin]# ls -lh
total 208M
lrwxrwxrwx. 1 root root 10 May 28 07:18 innobackupex -> xtrabackup
-rwxr-xr-x. 1 root root 5.2M Nov 23 2017 xbcloud
-rwxr-xr-x. 1 root root 3.0K Nov 23 2017 xbcloud_osenv
-rwxr-xr-x. 1 root root 5.1M Nov 23 2017 xbcrypt
-rwxr-xr-x. 1 root root 5.1M Nov 23 2017 xbstream
-rwxr-xr-x. 1 root root 192M Nov 23 2017 xtrabackup
[root@mysql5 bin]# ./innobackupex -help
./innobackupex: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.15' not found (required by ./innobackupex)
處理辦法:
[root@mysql5 bin]# strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_FORCE_NEW
GLIBCXX_DEBUG_MESSAGE_LENGTH
下載安裝包:
64位系統:http://ftp.de.debian.org/debian/pool/main/g/gcc-4.7/libstdc++6_4.7.2-5_amd64.deb
下載的包放在: /soft 目錄
解壓:
ar -x libstdc++6_4.7.2-5_amd64.deb && tar xvf data.tar.gz
cd ./usr/lib/x86_64-linux-gnu/
ls -lh libstdc++.so.6.0.17
重新LINK:
cp libstdc++.so.6.0.17 /usr/lib
cd /usr/lib64
rm -fr libstdc++.so.6
ln -s libstdc++.so.6.0.17 libstdc++.so.6
strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX
二、查看參數
./innobackupex --help
1、參數說明
--compress:該選項表示壓縮innodb數據文件的備份。
--compress-threads:該選項表示並行壓縮worker線程的數量。
--compress-chunk-size:該選項表示每個壓縮線程worker buffer的大小,單位是字節,默認是64K。
--encrypt:該選項表示通過ENCRYPTION_ALGORITHM的算法加密innodb數據文件的備份,目前支持的算法有ASE128,AES192,AES256。
--encrypt-threads:該選項表示並行加密的worker線程數量。
--encrypt-chunk-size:該選項表示每個加密線程worker buffer的大小,單位是字節,默認是64K。
--encrypt-key:該選項使用合適長度加密key,因為會記錄到命令行,所以不推薦使用。
--encryption-key-file:該選項表示文件必須是一個簡單二進制或者文本文件,加密key可通過以下命令行命令生成:openssl rand -base64 24。
--include:該選項表示使用正則表達式匹配表的名字[db.tb],要求為其指定匹配要備份的表的完整名稱,即databasename.tablename。
--user:該選項表示備份賬號。
--password:該選項表示備份的密碼。
--port:該選項表示備份數據庫的端口。
--host:該選項表示備份數據庫的地址。
--databases:該選項接受的參數為數據名,如果要指定多個數據庫,彼此間需要以空格隔開;如:"xtra_test dba_test",同時,在指定某數據庫時,也可以只指定其中的某張表。如:"mydatabase.mytable"。該選項對innodb引擎表無效,還是會備份所有innodb表。此外,此選項也可以接受一個文件為參數,文件中每一行為一個要備份的對象。
--tables-file:該選項表示指定含有表列表的文件,格式為database.table,該選項直接傳給--tables-file。
--socket:該選項表示mysql.sock所在位置,以便備份進程登錄mysql。
--no-timestamp:該選項可以表示不要創建一個時間戳目錄來存儲備份,指定到自己想要的備份文件夾。
--ibbackup:該選項指定了使用哪個xtrabackup二進制程序。IBBACKUP-BINARY是運行percona xtrabackup的命令。這個選項適用於xtrbackup二進制不在你是搜索和工作目錄,如果指定了該選項,innoabackupex自動決定用的二進制程序。
--slave-info:該選項表示對slave進行備份的時候使用,打印出master的名字和binlog pos,同樣將這些信息以change master的命令寫入xtrabackup_slave_info文件。可以通過基於這份備份啟動一個從庫。
--safe-slave-backup:該選項表示為保證一致性復制狀態,這個選項停止SQL線程並且等到show status中的slave_open_temp_tables為0的時候開始備份,如果沒有打開臨時表,bakcup會立刻開始,否則SQL線程啟動或者關閉知道沒有打開的臨時表。如果slave_open_temp_tables在--safe-slave-backup-timeount(默認300秒)秒之后不為0,從庫sql線程會在備份完成的時候重啟。
--rsync:該選項表示通過rsync工具優化本地傳輸,當指定這個選項,innobackupex使用rsync拷貝非Innodb文件而替換cp,當有很多DB和表的時候會快很多,不能--stream一起使用。
--kill-long-queries-timeout:該選項表示從開始執行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的這些查詢之間等待的秒數。默認值為0,不會kill任何查詢,使用這個選項xtrabackup需要有Process和super權限。
--kill-long-query-type:該選項表示kill的類型,默認是all,可選select。
--ftwrl-wait-threshold:該選項表示檢測到長查詢,單位是秒,表示長查詢的閾值。
--ftwrl-wait-query-type:該選項表示獲得全局鎖之前允許那種查詢完成,默認是ALL,可選update。
--galera-info:該選項表示生成了包含創建備份時候本地節點狀態的文件xtrabackup_galera_info文件,該選項只適用於備份PXC。
--stream:該選項表示流式備份的格式,backup完成之后以指定格式到STDOUT,目前只支持tar和xbstream。
--defaults-file:該選項指定了從哪個文件讀取MySQL配置,必須放在命令行第一個選項的位置。
--defaults-extra-file:該選項指定了在標准defaults-file之前從哪個額外的文件讀取MySQL配置,必須在命令行的第一個選項的位置。一般用於存備份用戶的用戶名和密碼的配置文件。
----defaults-group:該選項表示從配置文件讀取的組,innobakcupex多個實例部署時使用。
--no-lock:該選項表示關閉FTWRL的表鎖,只有在所有表都是Innodb表並且不關心backup的binlog pos點,如果有任何DDL語句正在執行或者非InnoDB正在更新時(包括mysql庫下的表),都不應該使用這個選項,后果是導致備份數據不一致,如果考慮備份因為獲得鎖失敗,可以考慮--safe-slave-backup立刻停止復制線程。
--tmpdir:該選項表示指定--stream的時候,指定臨時文件存在哪里,在streaming和拷貝到遠程server之前,事務日志首先存在臨時文件里。在 使用參數stream=tar備份的時候,你的xtrabackup_logfile可能會臨時放在/tmp目錄下,如果你備份的時候並發寫入較大的話 xtrabackup_logfile可能會很大(5G+),很可能會撐滿你的/tmp目錄,可以通過參數--tmpdir指定目錄來解決這個問題。
--history:該選項表示percona server 的備份歷史記錄在percona_schema.xtrabackup_history表。
--incremental:該選項表示創建一個增量備份,需要指定--incremental-basedir。
--incremental-basedir:該選項表示接受了一個字符串參數指定含有full backup的目錄為增量備份的base目錄,與--incremental同時使用。
--incremental-dir:該選項表示增量備份的目錄。
--incremental-force-scan:該選項表示創建一份增量備份時,強制掃描所有增量備份中的數據頁。
--incremental-lsn:該選項表示指定增量備份的LSN,與--incremental選項一起使用。
--incremental-history-name:該選項表示存儲在PERCONA_SCHEMA.xtrabackup_history基於增量備份的歷史記錄的名字。Percona Xtrabackup搜索歷史表查找最近(innodb_to_lsn)成功備份並且將to_lsn值作為增量備份啟動出事lsn.與innobackupex--incremental-history-uuid互斥。如果沒有檢測到有效的lsn,xtrabackup會返回error。
--incremental-history-uuid:該選項表示存儲在percona_schema.xtrabackup_history基於增量備份的特定歷史記錄的UUID。
--close-files:該選項表示關閉不再訪問的文件句柄,當xtrabackup打開表空間通常並不關閉文件句柄目的是正確的處理DDL操作。如果表空間數量巨大,這是一種可以關閉不再訪問的文件句柄的方法。使用該選項有風險,會有產生不一致備份的可能。
--compact:該選項表示創建一份沒有輔助索引的緊湊的備份。
--throttle:該選項表示每秒IO操作的次數,只作用於bakcup階段有效。apply-log和--copy-back不生效不要一起用。
--apply-log:該選項表示同xtrabackup的--prepare參數,一般情況下,在備份完成后,數據尚且不能用於恢復操作,因為備份的數據中可能會包含尚未提交的事務或已經提交但尚未同步至數據文件中的事務。因此,此時數據 文件仍處理不一致狀態。--apply-log的作用是通過回滾未提交的事務及同步已經提交的事務至數據文件使數據文件處於一致性狀態。
--use-memory:該選項表示和--apply-log選項一起使用,prepare 備份的時候,xtrabackup做crash recovery分配的內存大小,單位字節。也可(1MB,1M,1G,1GB),推薦1G。
--defaults-file:該選項指定了從哪個文件讀取MySQL配置,必須放在命令行第一個選項的位置。
--export:這個選項表示開啟可導出單獨的表之后再導入其他Mysql中。
--redo-only:這個選項在prepare base full backup,往其中merge增量備份(但不包括最后一個)時候使用。
--copy-back:做數據恢復時將備份數據文件拷貝到MySQL服務器的datadir。
--move-back:這個選項與--copy-back相似,唯一的區別是它不拷貝文件,而是移動文件到目的地。這個選項移除backup文件,用時候必須小心。使用場景:沒有足夠的磁盤空間同時保留數據文件和Backup副本
注意:
1.datadir目錄必須為空。除非指定innobackupex --force-non-empty-directorires選項指定,否則--copy-backup選項不會覆蓋
2.在restore之前,必須shutdown MySQL實例,你不能將一個運行中的實例restore到datadir目錄中
3.由於文件屬性會被保留,大部分情況下你需要在啟動實例之前將文件的屬主改為mysql,這些文件將屬於創建備份的用戶
chown -R my5711:mysql /data1/dbrestore
以上需要在用戶調用Innobackupex之前完成
--force-non-empty-directories:指定該參數時候,使得innobackupex --copy-back或--move-back選項轉移文件到非空目錄,已存在的文件不會被覆蓋。如果--copy-back和--move-back文件需要從備份目錄拷貝一個在datadir已經存在的文件,會報錯失敗。
三、備份恢復
1、全備所有數據庫過程
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock --no-timestamp --user=root --password=mysql /mysqlbackup/all-20180529bak
使用—no-timestamp參數,自己給備份文件命令(--parallel=3可以加並行)。
備份成功會顯示OK,innobackupex命令一定要跟--defaults-file參數。
查看生成的文件:
查看檢查點信息:
此次是一次全量備份,並記錄完成時的lsn。
2、全備恢復某個數據庫
例如刪除test測試庫。
進行恢復時,需要加上 --apply-log參數,他的作用就是通過回滾未提交的事物以及同步已經提交的事物值數據文件,使數據文件處於一致狀態。
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --apply-log /mysqlbackup/all-20180529bak
復制文件到指定目錄
1、停止MYSQL數據庫
2、更改目錄
cd /mydata/mysql/mysql3307/
mv data/ databak
把備份文件名稱,更改到data目錄下,且跟之前數據文件目錄名稱一致。
mv /mysqlbackup/all-20180529bak /mydata/mysql/mysql3307/data
修改權限:
chown -R mysql:mysql /mydata/mysql/mysql3307/data
啟動數據庫:
mysqld_safe --defaults-file=/etc/my3307.cnf &
查看恢復的test 數據庫下的表。
恢復成功!
多了一個xtrabackup_binlog_pos_innodb文件。如果表引擎都是innodb搭建主從的時候,可以用xtrabackup_binlog_pos_innodb文件中的記錄,如果是混合引擎,建議用xtrabackup_binlog_info為准。
3、備份某個數據庫
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --databases="test" /mysqlbackup/
多個數據庫用空格分開。
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases="test" /mysqlbackup/full20180531
4、恢復單個數據庫
整體還原跟2差距不大,但是,因為是部分備份,不能直接用--copy-back,只能手動來復制需要的庫,也要復制ibdata(數據字典)
./innobackupex --defaults-file=/etc/my3307.cnf --apply-log -S /tmp/mysql3307.sock -uroot -pmysql /mysqlbackup/2018-05-29_06-02-14
復制部分文件到指定目錄
停止數據庫:
mysqladmin -S /tmp/mysql3307.sock -uroot -pmysql shutdown
mv /mydata/mysql/mysql3307/data/test /mydata/mysql/mysql3307/data/testbak
復制刪除的數據庫文件(包括ibdata數據字典)會覆蓋相同的文件
cp -r /mysqlbackup/2018-05-29_06-02-14/* /mydata/mysql/mysql3307/data
修改權限:
chown -R mysql:mysql /mydata/mysql/mysql3307/data
開啟數據庫並查看恢復情況:
查看表記錄:
5、備份指定表
備份test庫t1表:
恢復還需要知道創建表結構。
CREATE TABLE `t1` (
`id` int(4) DEFAULT NULL,
KEY `t1_p` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --include='test.t1' /mysqlbackup/20180529test_t1
或者
./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases='test.t1' /mysqlbackup/20180529test_t1
查看備份的文件:
附帶備份語句:
備份不同庫下的不同表
1:innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123 --no-timestamp --databases="dba_test.tb1 xtra_test.M" /home/zhoujy/xtrabackup/
備份一個庫下面的表,支持正則,如:--include='^mydatabase[.]mytable'
2:innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123 --no-timestamp --include='xtra_test.I' /home/zhoujy/xtrabackup/
備份指定文件里的表,文件里每行的格式是:dbname.tbname
3:innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123 --no-timestamp --tables-file=/tmp/tbname.txt /home/zhoujy/xtrabackup/
6、恢復指定表
刪除t1。
./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --apply-log --export /mysqlbackup/20180529test_t1
CREATE TABLE `t1` (
`id` int(4) DEFAULT NULL,
KEY `t1_p` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
then discard its tablespace:
ALTER TABLE test.t1 DISCARD TABLESPACE;
查看此時t1表空間只有表結構信息(無數據文件):
拷貝文件到指定目錄:(復制文件到指定目錄,並修改權限)
After this, copy mytable.ibd and mytable.exp ( or mytable.cfg if importing to MySQL 5.6) files to
database’s home, and import its tablespace:
cd /mysqlbackup/20180530test_t1/test/
cp t1.exp t1.ibd /mydata/mysql/mysql3307/data/test/
chown -R mysql.mysql /mydata/mysql/mysql3307/data/test/
ALTER TABLE test.t1 IMPORT TABLESPACE;
恢復成功。
四、增量備份恢復
增量備份是基於全備而言的,第一次的增備數據必須要基於上一次的全備,之后每一次增備都是基於上一次的增備,最終達到一致性的增備。
上一次備份的初始LSN為0,結束時的LSN為671532954
例如新建一張表並插入數據。
create table a1(id int);
delimiter //
create procedure per1()
begin
declare i int;
set i=1;
while i <= 10000 do
insert into test.a1 values(i);
set i=i+1;
end while;
end
//
call per1();
//
增量備份全庫:
查看之前全備文件LSN:
現在進行增量備份:
注意--incremental-basedir后面是上一次全備文件
./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases='test' --incremental /mysqlbackup/incr20180531 --incremental-basedir=/mysqlbackup/full20180531
查看生成的文件的LSN:
我現在再新建一張表,並插入數據。
delimiter //
create procedure new()
begin
declare i int;
set i=1;
while i <= 10000 do
insert into test.new values(i);
set i=i+1;
end while;
end
//
call new();
//
進行第二次增量備份:
./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases='test' --incremental /mysqlbackup/incr20180531incr2 --incremental-basedir=/mysqlbackup/incr20180531
查看LSN:
可以查看的到LSN第二次是基於第一次的增量備份。
增量備份恢復
現在模擬故障,刪除test 數據庫。
以及刪除test數據庫下的所有表。
恢復過程跟oracle其實類似,先恢復全備,在恢復第一個增備,最后恢復第二個增備,最后拷貝數據文件到指定目錄。
由於數據庫存在,只是文件目錄沒有刪除,所有不需要建庫了。
1、恢復全備
./innobackupex --defauts-file=/etc/my3307.cnf -uroot -pmysql --apply-log --redo-only /mysqlbackup/full20180531
2、恢復第一個增備(可以設置--user-memory=2G)
./innobackupex --defaults-file=/etc/my3307.cnf -urot -pmysql --apply-log --redo-only /mysqlbackup/full20180531 --incremental-dir=/mysqlbackup/incr20180531
需要全備文件絕對路徑以及增量備份的絕對路徑。
3、恢復第二個增備(乃至n個原理一樣)
./innobackupex --defaults-file=/etc/my3307.cnf -uroot -pmysql --apply-log --redo-only /mysqlbackup/full20180531 --incremental-dir=/mysqlbackup/incr20180531incr2
4、把全備文件進行一次性恢復(不需要添加—redo-only參數了)
./innobackupex --defaults-file=/etc/my3307.cnf -uroot -pmysql --apply-log /mysqlbackup/full20180531
5、復制文件(后續可以參考恢復單庫步驟)
關閉數據庫
mysqladmin -S /tmp/mysql3307.sock -uroot -pmysql shutdown
復制刪除的數據庫文件(包括ibdata數據字典)會覆蓋相同的文件
cp -r /mysqlbackup/full20180531/* /mydata/mysql/mysql3307/data
會覆蓋
修改權限:
chown -R mysql:mysql /mydata/mysql/mysql3307/data
驗證數據庫是否已經恢復:
mysqld_safe --defaults-file=/etc/my3307.cnf &
只需要查看最后一張表就行
恢復成功!
五、流程化備份
1、非壓縮模式的備份
進行流程化備份需要添加一個很重要的參數--stream,這里討論tar格式。
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --stream=tar /tmp > /mysqlbackup/20180531tar
備份的是tar壓縮包文件:
2、壓縮模式的備份
壓縮包模式只需要在打包模式下加一個管道符號,並在此基礎上加一個壓縮命令即可。
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --stream=tar /tmp |gzip > /mysqlbackup/20180531full.tar.gz
查看生成的文件:
還原需要先解壓:
tar -zxvf 20180531full.tar.gz
3、遠程備份
需要把mysql服務器和遠程服務器做互信配置,不能輸密碼。
語句參考如下:
./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --stream=tar /tmp |gzip |ssh root@ip "cat> /mysqlbackup/20180531full.tar.gz"