Rsync+sersync（inotify）實現數據實時雙向同步

Rsync+Sersync數據實時同步（雙向）

Author:Rich七哥

目錄

• Rsync+Sersync數據實時同步（雙向）
  • 服務介紹
  • 節點聲明
  • 編譯環境配置
  • 安裝Rsync
  • 編輯Rsync配置文件
  • 配置文件解析
  • 配置密碼文件
  • 啟動rsync驗證
  • 安裝sersync服務
  • 配置sersync服務
  • sersync配置文件解析
  • 啟動sersync服務
  • 測試同步

服務介紹

一、為什么要用rsync+sersync架構？

• 1、sersync是基於inotify開發的，類似於inotify-tools的工具

• 2、sersync可以記錄下被監聽目錄中發生變化的（包括增加、刪除、修改）具體某一個文件或者某一個目錄的名字，然后使用rsync同步的時候，只同步發生變化的文件或者目錄

• 3因為服務異常導致的同步失敗有記錄，便於恢復，確保高可用！

二、rsync+inotify-tools與rsync+sersync架構的區別？

• 1、rsync+inotify-tools

a、inotify只能記錄下被監聽的目錄發生了變化（增，刪，改）並沒有把具體是哪個文件或者哪個目錄發生了變化記錄下來；

b、rsync在同步的時候，並不知道具體是哪個文件或目錄發生了變化，每次都是對整個目錄進行同步，當數據量很大時，整個目錄同步非常耗時（rsync要對整個目錄遍歷查找對比文件），因此效率很低

​

• 2、rsync+sersync

a、sersync可以記錄被監聽目錄中發生變化的（增，刪，改）具體某個文件或目錄的名字；

b、rsync在同步時，只同步發生變化的文件或目錄（每次發生變化的數據相對整個同步目錄數據來說很小，rsync在遍歷查找對比文件時，速度很快），因此效率很高。

同步過程：

1. 在同步服務器上開啟sersync服務，sersync負責監控配置路徑中的文件系統事件變化；

2. 調用rsync命令把更新的文件同步到目標服務器；

3. 需要在主服務器配置sersync，在同步目標服務器配置rsync server（注意：是rsync服務）

同步過程和原理：

• 1. 用戶實時的往sersync服務器上寫入更新文件數據；

• 2. 此時需要在同步主服務器上配置sersync服務；

• -3. 在另一台服務器開啟rsync守護進程服務，以同步拉取來自sersync服務器上的數據；

通過rsync的守護進程服務后可以發現，實際上sersync就是監控本地的數據寫入或更新事件；然后，在調用rsync客戶端的命令，將寫入或更新事件對應的文件通過rsync推送到目標服務器

節點聲明

#雙向備份
192.168.0.50(數據源節點、備份節點)
192.168.0.51(數據源節點、備份節點)

編譯環境配置

本教程是基於CentOs 7.5系統配置的，為了適合不同環境配置的節點安裝，本教程將采用編譯安裝的方式

[root@cosmo-0-50 bin]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core) 

# 環境檢查

#查看gcc【編譯器】版本
gcc -v 
#查看perl【解釋器】版本
perl -v

# 提示無該命令則需要安裝，如果有版本信息則直接執行下步操作
#安裝編譯器gcc：
 
 #第一步：上傳gcc_rpm.tar.gz到/usr/src 下
 #第二步：解壓縮到/usr/local
  cd /usr/src
  tar -zxvf gcc_rpm.tar.gz -C /usr/local
  
 #第三步：rpm安裝
  cd /usr/local/gcc_rpm
  rpm -Uvh  *.rpm  --nodeps  --force  
  
 #第四步：版本查看，確認是否安裝成功
  gcc -v 和 g++ -v  
 
 
#安裝解釋器perl[http://search.cpan.org/CPAN/authors/id/S/SH/SHAY]：
 
 #第一步：上傳perl-5.26.1.tar.gz到/usr/src 下
 #第二步：解壓縮到 /usr/local/perl
  cd /usr/src
  tar -zxvf perl-5.26.1.tar.gz  -C /usr/local
  
 #第三步：進入文件目錄,設置config
  cd /opt/perl-5.26.1/
  ./Configure -des -Dprefix=/usr/local/perl
  
 #第四步：編譯並檢測
  make && make test
 【出現All tests successful：編譯及檢測成功】
 
 #第五步：安裝
  make install
  
 #第六步：驗證
  perl -v

安裝Rsync

# 將rsync.tar包上傳至安裝節點/opt/cosmo/com/rsync目錄下
[root@cosmo-0-50 rsync]# ls
rsync-3.0.9.tar.gz  

#然后解壓
tar -zxvf rsync-3.0.9.tar.gz

# 編譯
cd rsync-3.0.9
./configure --prefix=/opt/cosmo/rsync
make  && make install && echo $?

# 驗證
echo $?的值為0代表執行成功

編輯Rsync配置文件

192.168.0.50

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsyncd.conf
uid = root                          
gid = root                          
address =192.168.0.50               
port =873                           
hosts allow =192.168.0.0/24         
use chroot = yes                    
max connections =10                  
pid file =/var/run/rsyncd.pid       
lock file =/var/run/rsync.lock      
log file =/var/log/rsyncd.log       
motd file =/etc/rsyncd.motd

 
[wwwroot]                           
path =/opt/cosmo/test/                    
comment = used for web-data root    
read only = false                   
list = yes                          
auth users = rsyncuser              
secrets file =/etc/rsync.passwd

配置文件解析

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsyncd.conf
uid = root                         #運行進程的身份                     
gid = root                         #運行進程的組                
address =192.168.0.50              #監聽IP          
port =873                          #監聽端口              
hosts allow =192.168.0.0/24        #允許同步客戶端的IP地址，可以是網段，或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0  
use chroot = yes                   #是否囚牢，鎖定家目錄，rsync被黑之后，黑客無法再rsync運行的家目錄之外創建文件，選項設置為yes            
max connections =10                 #最大連接數           
pid file =/var/run/rsyncd.pid       #進程PID，自動生成  
lock file =/var/run/rsync.lock      #指max connectios參數的鎖文件
log file =/var/log/rsyncd.log       #日志文件位置

 
[wwwroot]                           #同步模塊名稱           
path =/opt/cosmo/test/              #同步文件路徑     
comment = used for web-data root    #模塊描述
read only = false                   #設置服務端文件讀寫權限   
list = yes                          #是否允許查看模塊信息
auth users = rsyncuser              #備份的用戶，和系統用戶無關
secrets file =/etc/rsync.passwd     #存放用戶的密碼文件，格式是  用戶名：密碼

配置密碼文件

[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsync.passwd
rsyncuser:password123
#用戶名:密碼

[root@cosmo-0-50 bin]#chmod 600 /etc/rsync.passwd  
#目錄權限必須是700或者600，否則的話身份驗證會失效，設置rsync user的時候

#創建sersync密碼文件
[root@cosmo-0-50 bin]# cat /opt/cosmo/com/rsync/bin/rsync2.passwd 
password123

啟動rsync驗證

#啟動命令
[root@cosmo-0-50 bin]#/opt/cosmo/rsync/bin/rsync --daemon --config=/opt/cosmo/rsync/bin/rsyncd.conf

# 查看進程
ps -e|grep rsync

#查看端口(此命令沒有的話需安裝net-tools)
netstat -antup|grep 873

# 同步測試
rsync -avz  /opt/cosmo/test/ root@192.168.0.51:/opt/cosmo/test/

# 設置開機自啟動
  echo "/opt/cosmo/rsync/bin/rsync --daemon --config=/opt/cosmo/rsync/bin/rsyncd" >> /etc/rc.local
  

• 51節點rsync安裝和50步驟一致

安裝sersync服務

# 將sersync的軟件包上傳至安裝節點/opt/cosmo/com下
# 解壓
tar xvf sersync2.5.4_51bit_binary_stable_final.tar.gz

# 修改包名
[root@cosmo-0-51 sersyncdir]# mv GNU-Linux-x86 sersyncdir
[root@cosmo-0-51 sersyncdir]# cd sersyncdir
[root@cosmo-0-51 sersyncdir]# ls
sersync

[root@cosmo-0-51 sersyncdir]# cd sersync/
[root@cosmo-0-51 sersync]# ls
confxml.xml  sersync2

配置sersync服務

# [root@cosmo-0-50 sersync]# cat confxml.xml 

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
        <exclude expression="(.*)\.svn"></exclude>
        <exclude expression="(.*)\.gz"></exclude>
        <exclude expression="^info/*"></exclude>
        <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="false"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="false"/>
        <modify start="false"/>
    </inotify>

    <sersync>
        <localpath watch="/opt/cosmo/test">
            <remote ip="192.168.0.51" name="wwwroot"/>
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->
        </localpath>
        <rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsyncuser" passwordfile="/opt/cosmo/com/rsync/bin/rsync2.passwd"/>
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
        <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
        <filter start="false">
            <include expression="(.*)\.php"/>
            <include expression="(.*)\.sh"/>
        </filter>
    </plugin>

    <plugin name="socket">
        <localpath watch="/opt/tongbu">
            <deshost ip="192.168.138.20" port="8009"/>
        </localpath>
    </plugin>
    <plugin name="refreshCDN">
        <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
            <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
            <sendurl base="http://pic.xoyo.com/cms"/>
            <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
        </localpath>
    </plugin>
</head>

sersync配置文件解析

# 修改24--28行
<sersync>
        <localpath watch="/opt/cosmo/test">    #本地同步目錄
            <remote ip="192.168.0.51" name="wwwroot"/>   #rsync模塊名稱

# 修改31--34行，認證部分【rsync密碼認證】
<rsync>
            <commonParams params="-artuz"/>
            <auth start="true" users="rsyncuser"   #修改用戶名 passwordfile="/opt/cosmo/com/rsync/bin/rsync2.passwd"/>   # 修改密碼文件路徑
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>

</rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->  # **錯誤日志路徑，用於記錄和恢復同步失敗的文件**

啟動sersync服務

# 啟動sersync服務
[root@cosmo-0-50 sersync]# /opt/cosmo/com/sersyncdir/sersync/sersync2 -r -d -o /opt/cosmo/com/sersyncdir/sersync/confxml.xml 

• 輸出內容如下：

51節點的配置方法和50一致

測試同步

#在50節點的/opt/cosmo/test/進行文件修改或刪除,在51節點進行觀察是否同步成功
watch ls -l

目錄

• Rsync+Sersync數據實時同步（雙向）
  • 服務介紹
  • 節點聲明
  • 編譯環境配置
  • 安裝Rsync
  • 編輯Rsync配置文件
  • 配置文件解析
  • 配置密碼文件
  • 啟動rsync驗證
  • 安裝sersync服務
  • 配置sersync服務
  • sersync配置文件解析
  • 啟動sersync服務
  • 測試同步