rsync + inotify 實現主機間數據實時同步的原理

一、rsync實現兩台服務器數據同步的原理：    

   Rsync 是基於rsync算法校驗源(SRC)與目標(DEST)之間的差異實現數據同步的。也就是說，當使用rsync工具同步數據時候，只復制源(SRC)發生改變的文件，到目標(DEST)，這類似於增量備份。所以rsync同步數據的速度是很快的。但是rsync的傳輸性能有點差，在海量小文件需要同步時，表現很差勁。因為rsync是基於文件同步的(不是塊級別的)，在傳輸之前還要進行校驗。

   Rsync的工作模式有多中，使用rsync的服務模式來構建：主/從服務器的數據同步。此時rsync工作為守護進程監聽在：TCP/873， 能接收客戶端的數據同步請求。

客戶端發出的數據同步請求方式有兩種：

1、  從遠程rsync服務器拉取數據到本地

Pull:
    rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

 

例：

  從遠程rsync服務器拉取數據(把rsync導出的存儲空間中的所有文件鏡像到本地)到本地的/web目錄

[root@node1 web]# rsync -aprtogzl192.168.60.99::web/ /web

 

 [root@node1web]# rsync -arogtpz rsync://192.168.60.99/web/ /web

 

2、往遠程服務器推送數據   

Push:
    rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

例：

   往遠程rsyn服務器導出的存儲空間(web)推送數據(文件fstab)

 [root@node1/]# rsync /etc/fstab 192.168.60.9::web

 

 使用rsync協議向遠程rsync服務器導出的存儲空間(web)推送數據(鏡像目錄/etc)

 [root@node1/]# rsync -a /etc rsync://192.168.60.99/web

 

 

二、那么如何實現：實現兩台服務器的數據同步呢？

要點：只要當數據改變時，rsync客戶端往rsync服務器推送數據或從主服務器拉取數據，就可以實現兩台服務器數據同步了。

1、選擇rsync客戶端的工作模式：

因為:rsync客戶端向服務端發出的數據同步請求命令的方式有兩種(推送數據/拉取數據)：那么，Rsync客戶端是從rsync服務器拉取數據(鏡像數據)還是rsync客戶端推送(上傳)數據，這要視，同步數據源放在rsync服務器端還是放在rsync客戶端？

說明：本實驗的同步數據源存放在rsync客戶端192.168.60.40所在文件系統的:/web目錄中，所以

使用“推送模式”。

2、選擇觸發rsyc客戶端從rsync服務器端拉取數據或推送數據的方式？

(1)、把rsync客戶端發出的數據同步請求命令做成周期性任務計划，每隔一段時間同步一次數據。 不管有沒有數據變化都發出一次數據同步請求命令。 (2)、使用內核提供的inotify機制，當數據發生改變時(刪除、修改等)就觸發rsync客戶端發出數據 同步請求。

 

 

說明：

    第1種方式，不能保證兩台服務器的數據是實時同步的，因為數據發生改變與rsync客戶端發出同步請求命令不能聯運起來。如果，我們的數據更新頻度很快的話，往往會造成某台服務器的數據落后很多另一台服務器的。而第2種解決方案，只要數據發生改變就會發生數據同步請求，它是實時的。

Rsync + inotify 機制實現的兩台服務器數據同步如下圖如示：

三、在192.168.60.99主機搭建rsync服務器

Rsync工作於服務模式，要為其提供配置文件，配置文件如下：

[root@stu13 /]# cat /etc/rsyncd.conf # # uid = nobody gid = nobody use chroot = no max connections = 10 # 最大並發連接數 strict modes = yes # 當啟用基於口令認證客戶端時，是否檢查口令文件的權限 pid file = /var/run/rsyncd.pid log file = /var/log/rsyncd.log # 日志文件的輸出路徑 [web] # rsync服務器輸出的存儲空間叫啥名 path = /web # 定義rsync服務器輸出的存儲空間的位置 ignore errors =yes # 在數據傳輸中，出現錯誤是否忽略繼續傳輸數據 read only = no # 允許客戶端上傳數據(往rsync服務器推送數據) write only = no # 允許客戶端下載數據(從rsync服務器拉取數據) hosts allow = 192.168.60.0/24 # 允許訪問rsync服務器的客戶端地址 hosts deny = * # 只允許hostsallow指令定義的客戶端訪問，其它的都不允許 list = false # 當客戶端請求服務器輸出的存儲空間列表時，是否列出來。 uid = root gid = root

 

 

四、在192.168.60.40安裝inotifywatch工具；

要使用inotifywatch工具定義inotify監控的對象和監控事件。Inotify工作在內核空間。

Inotifywatch會把inotify監控到的事件輸出到標准輸出來。

inotify-tools-3.14.tar.gz

 

安裝步驟：

[root@node1 admin]# tar -xf inotify-tools-3.14.tar.gz [root@node1 admin]#cd inotify-tools-3.14 [root@node1 inotify-tools-3.14]#./configure --prefix=/usr/local/inotify-tools [root@node1 inotify-tools-3.14]#Make && make install

 

五、在客戶端192.168.60.40設置inotify 與 rsync聯動;

聯動原理：

    可以通過管道，把innotify監控到的事件送到while循環，由read讀取到有監控事件發生，就執行while循環體內的rsync同步數據請求命令。這樣就實現了inotify與rsync的聯運。代碼如下：

[root@node1 ~]# cat inotify.sh #/bin/bash # rsync服務器 rsyncServer=192.168.60.99 # 初監控的文件系統(也就是同步數據源) src=/web/ # 遠程rsync服務器導出的存儲空間 dst=web # 一開始就進行數據同步 rsync -azrtopg --delete $src $rsyncServer::$dst /usr/local/inotify-tools/bin/inotifywait -mrq -e create,move,delete,modify $src | while read files;do # 監測的事件為:create,move,delete,modify rsync -azrtopg --delete $src $rsyncServer::$dst done

 

 

六、測試；

1、啟用服務

  說明：這里選擇rsync由超級守護進行xinetd管理。所以，要啟用xinetd服務。

啟動 xinetd服務

[root@stu13 web]# service xinetd start Starting xinetd: [ OK ]

 

開啟rsync服務

[root@stu13 web]# chkconfig rsync on

 

2、在rsync服務端運行inotify.sh腳本

[root@node1 ~]# ./inotify.sh & [1] 6237

 

 

說明：在后台運行。

注意：rsync服務器監聽的端口為：TCP/873

[root@stu13 web]# netstat -anpt | grep rsync tcp 0 0 192.168.60.99:873 192.168.60.40:37795 ESTABLISHED 14681/rsync

 

3、查看rsync服務器192.168.60.99輸出的存儲空間的數據文件

[root@stu13 web]# ll total 0

 

4、在rsync客戶端192.168.60.40，復制一些文件到被inotify監控的目錄/web中

[root@node1 web]# cp -r /var/log/* ./

 

5、查看rsync服務器輸出的存儲空間/web是否有對應的文件

[root@stu13 web]# ls anaconda.ifcfg.log btmp dracut.log messages-20140817 sa spooler-20140824 anaconda.log ConsoleKit gdm messages-20140824 samba tallylog anaconda.program.log cron httpd mysqld.log secure wpa_supplicant.log anaconda.storage.log cron-20140817 lastlog ntpstats secure-20140817 wtmp anaconda.syslog cron-20140824 maillog pm-powersave.log secure-20140824 Xorg.0.log anaconda.yum.log cups maillog-20140817 ppp spice-vdagent.log yum.log audit dmesg maillog-20140824 prelink spooler boot.log dmesg.old messages rhsm spooler-20140817

 

 

OK!!!