rsync+inotify實現文件實時同步


 

一、相關組件簡介

 1、rsync

       與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據 時,需要掃描所有文件后進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的 一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定 會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!

    2、inotify

        Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統 中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣 的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。

查看內核是否支持inotify API,如果有以下三項,表示系統已經默認支持inotify:

ll /proc/sys/fs/inotify

 

二、軟件安裝和配置

安裝Rsync

分別在服務器A和服務器B的terminal執行:

sudo yum install rsync

安裝完畢后,會發現rsync的配置文件位於 etc/rsyncd.conf 。該文件使用daemon方式同步時需要使用,此處暫不介紹。

配置服務器A和B之間的免密登錄

服務器A執行:

ssh-keygen
ssh-copy-id 服務器B的IP地址

inotify-tools的安裝

yum install -y epel-release
yum --enablerepo=epel install inotify-tools

使用inotifywait命令進行事件監聽

監聽腳本如下(inotifywait-rsync.sh):

host=192.168.171.129
src1=/home/esoon/rsync/
src2=/home/esoon/test/
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib $src1 $src2 | while read file
do
rsync -avPz --delete --progress $src1 $host:$src1
rsync -avPz --delete --progress $src2 $host:$src2
echo "${file} was rsynced" >>rsync.log 2>&1
done

  

參數解析

  • -m 保持持續監聽狀態,如果不寫該參數,inotifywait會在監聽到一次事件之后退出。
  • -r 遞歸方式監聽目錄。
  • -q 安靜模式,打印輸出較少的內容。
  • --timefmt 指定時間的輸出格式。
  • --format 指定事件輸出的格式。
  • -e 設置監聽的事件類型。這里監聽增刪改和metadata的變更。

對於每次觸發的監聽時間,inotifywait會執行do和done之間的代碼。在這里,我們調用之前所說的rsync命令進行文件同步。

直接執行下面命令開始監聽:

nohup sh inotifywait-rsync.sh >/dev/null &

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM