一、相關組件簡介
1、rsync
與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據 時,需要掃描所有文件后進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的 一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定 會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!
2、inotify
Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統 中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣 的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。
查看內核是否支持inotify API,如果有以下三項,表示系統已經默認支持inotify:
ll /proc/sys/fs/inotify
二、軟件安裝和配置
安裝Rsync
分別在服務器A和服務器B的terminal執行:
sudo yum install rsync
安裝完畢后,會發現rsync的配置文件位於 etc/rsyncd.conf 。該文件使用daemon方式同步時需要使用,此處暫不介紹。
配置服務器A和B之間的免密登錄
服務器A執行:
ssh-keygen ssh-copy-id 服務器B的IP地址
inotify-tools的安裝
yum install -y epel-release yum --enablerepo=epel install inotify-tools
使用inotifywait命令進行事件監聽
監聽腳本如下(inotifywait-rsync.sh):
host=192.168.171.129 src1=/home/esoon/rsync/ src2=/home/esoon/test/ /usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib $src1 $src2 | while read file do rsync -avPz --delete --progress $src1 $host:$src1 rsync -avPz --delete --progress $src2 $host:$src2 echo "${file} was rsynced" >>rsync.log 2>&1 done
參數解析
- -m 保持持續監聽狀態,如果不寫該參數,inotifywait會在監聽到一次事件之后退出。
- -r 遞歸方式監聽目錄。
- -q 安靜模式,打印輸出較少的內容。
- --timefmt 指定時間的輸出格式。
- --format 指定事件輸出的格式。
- -e 設置監聽的事件類型。這里監聽增刪改和metadata的變更。
對於每次觸發的監聽時間,inotifywait會執行do和done之間的代碼。在這里,我們調用之前所說的rsync命令進行文件同步。
直接執行下面命令開始監聽:
nohup sh inotifywait-rsync.sh >/dev/null &