關於解決多台linux服務器間的文件實時同步問題


 

最近要做一個相關的解決方案,在虛擬機測試沒有問題。給大家分享出來,有更好的解決方案,歡迎討論。

1.1 inotify相關介紹

     1、rsync

       與傳統的cp、tar備份方式相比,rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期的備份文件服務器數據到遠端服務器,對本地磁盤定期做數據鏡像等。
隨着應用系統規模的不斷擴大,對數據的安全性和可靠性也提出的更好的要求,rsync在高端業務系統中也逐漸暴露出了很多不足,首先,rsync同步數據 時,需要掃描所有文件后進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。而且正在發生變化的往往是其中很少的 一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過linux守護進程的方式進行觸發同步,但是兩次觸發動作一定 會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢復數據。基於以上原因,rsync+inotify組合出現了!

    2、inotify

        Inotify 是一種強大的、細粒度的、異步的文件系統事件監控機制,linux內核從2.6.13起,加入了Inotify支持,通過Inotify可以監控文件系統 中添加、刪除,修改、移動等各種細微事件,利用這個內核接口,第三方軟件就可以監控文件系統下文件的各種變化情況,而inotify-tools就是這樣 的一個第三方軟件。
在上面章節中,我們講到,rsync可以實現觸發式的文件同步,但是通過crontab守護進程方式進行觸發,同步的數據和實際數據會有差異,而inotify可以監控文件系統的各種變化,當文件有任何變動時,就觸發rsync同步,這樣剛好解決了同步數據的實時性問題。


1.2 rsync+inotify同步邏輯圖


1.3 環境部署

  1、下載所需的安裝包:

        先把兩個包放在/usr/src/下。

  a、rsync下載路徑:http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz/

  b、inotify下載路徑:http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

 2、第一台服務器(192.168.188.90)配置(不分主次):

    a、安裝rsync:

[root@nginx ~]# cd /usr/src/ 
[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz 
[root@nginx src]# cd rsync-3.0.9 
[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync 
[root@nginx rsync-3.0.9]# make 
[root@nginx rsync-3.0.9]# make install

 b、創建密碼認證文件:

[root@nginx rsync-3.0.9]# cd /usr/local/rsync/
[root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync1.passwd

c、給密碼文件賦予600權限:

[root@nginx rsync]# chmod 600 rsync1.passwd

d、安裝inotify:

[root@nginx rsync]# cd /usr/src/ 
[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz 
[root@nginx src]# cd inotify-tools-3.14 
[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify 
[root@nginx inotify-tools-3.14]# make 
[root@nginx inotify-tools-3.14]# make install

 e、創建監控腳本:

#!/bin/bash 
host=192.168.188.89
src=/root/test/    
des=web 
user=webuser 
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \ 
| while read files 
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync1.passwd $src $user@$host::$des 
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 
done

注意:host為第二台服務器IP,src為要監控的路徑,web是認證模塊名稱,最后把監控腳本命名為rsync1.sh放在要監控的路徑下。此處應是/root/test/

     f、給監控腳本賦予764權限:

[root@nginx tmp]# chmod 764 rsync1.sh

     g、創建rsync配置文件:

uid = root 
gid = root 
use chroot = no 
max connections = 10 
strict modes = yes
pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsync.lock 
log file = /var/log/rsyncd.log 
[web] 
path = /root/test/
comment = web file
ignore errors 
read only = no 
write only = no 
hosts allow = 192.168.188.89 
hosts deny = * 
list = false
uid = root 
gid = root 
auth users = webuser 
secrets file = /usr/local/rsync/rsync1.passwd

該配置文件是用來接收另一台服務器的文件。其中web是server服務端(90服務器)的認證模塊名稱,需要與90服務器里的一致。把配置文件命名為rsync1.conf,放到/usr/local/rsync/目錄里

     h、啟動該配置文件

[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync1.conf

   需要開機啟動的話:

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync1.conf" >> /etc/rc.local

 

3、第二台服務器(192.168.188.89)配置(不分主次):

     a、安裝rsync:

[root@nginx ~]# cd /usr/src/ 
[root@nginx src]# tar zxvf rsync-3.0.9.tar.gz 
[root@nginx src]# cd rsync-3.0.9 
[root@nginx rsync-3.0.9]# ./configure --prefix=/usr/local/rsync 
[root@nginx rsync-3.0.9]# make 
[root@nginx rsync-3.0.9]# make install

   b、創建密碼認證文件:

[root@nginx rsync-3.0.9]# cd /usr/local/rsync/
[root@nginx rsync]# echo "rsync-pwd" >/usr/local/rsync/rsync2.passwd 

    c、給密碼文件賦予600權限:

[root@nginx rsync]# chmod 600 rsync2.passwd 

   d、安裝inotify:

[root@nginx rsync]# cd /usr/src/ 
[root@nginx src]# tar zxvf inotify-tools-3.14.tar.gz 
[root@nginx src]# cd inotify-tools-3.14 
[root@nginx inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify 
[root@nginx inotify-tools-3.14]# make 
[root@nginx inotify-tools-3.14]# make install

    e、創建監控腳本:

#!/bin/bash 
host=192.168.188.90
src=/root/test/    
des=web 
user=webuser 
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \ 
| while read files 
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsync2.passwd $src $user@$host::$des 
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 
done

注意:host為第二台服務器IP,src為要監控的路徑,web是認證模塊名稱,最后把監控腳本命名為rsync2.sh放在要監控的路徑下。此處應是/root/test/

     f、給監控腳本賦予764權限:

[root@nginx tmp]# chmod 764 rsync2.sh

     g、創建rsync配置文件:

uid = root 
gid = root 
use chroot = no 
max connections = 10 
strict modes = yes
pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsync.lock 
log file = /var/log/rsyncd.log 
[web] 
path = /root/test/
comment = web file
ignore errors 
read only = no 
write only = no 
hosts allow = 192.168.188.90 
hosts deny = * 
list = false
uid = root 
gid = root 
auth users = webuser 
secrets file = /usr/local/rsync/rsync2.passwd

該配置文件是用來接收另一台服務器的文件。其中web是server服務端(90服務器)的認證模塊名稱,需要與90服務器里的一致。把配置文件命名為rsync2.conf,放到/usr/local/rsync/目錄里

 

     h、啟動該配置文件

[root@nginx-backup rsync]# /usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync2.conf

 需要開機啟動的話:

[root@nginx-backup rsync]# echo "/usr/local/rsync/bin/rsync --daemon --config=/usr/local/rsync/rsync2.conf" >> /etc/rc.local

  4、最后啟動兩台服務器的監控腳本:

    a、在90服務器:  

[root@nginx tmp]# sh /root/test/rsync1.sh &

    需要開機啟動的話:

[root@nginx tmp]# echo "/root/test/rsync1.sh" >> /etc/rc.local

    b、在89服務器:

[root@nginx tmp]# sh /root/test/rsync2.sh &

需要開機啟動的話:

[root@nginx tmp]# echo "/root/test/rsync2.sh" >> /etc/rc.local 

 

1.4測試
            任意在其中一台服務器/root/test/路徑下,新增一個文件,你會發現另一台服務器也同步了該文件。

       同步之后,兩台服務器下都會有rsync1.sh和rsync2.sh監控腳本,注意勿刪!


       如果需要3台或3台以上的服務器之間進行同步,則需要更改shell腳本,方法類似。

 

 

 

轉: https://blog.csdn.net/hyh9401/article/details/52043134

參: https://www.cnblogs.com/gpfeisoft/p/6112847.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM