Rsync + Sersync 實現數據增量同步

一、什么是Rsync？

　　Rsync（Remote Synchronize）是一款開源的、快速的、多功能的、可以實現全量及增量的本地或遠程數據同步備份的優秀工具，並且支持多種操作系統平台運行。

　　官網文檔：https://rsync.samba.org/ftp/rsync/rsync.html

二、Rsync簡介

　　1、Rsync具有本地與遠程兩台主機之間的數據快速復制同步鏡像、遠程備份等功能，該功能類似scp，但是優於scp功能，還具有本地不同分區目錄之間全量及增量復制數據。

　　2、Rsync同步數據鏡像時，通過“quick check”算法，僅同步大小或最后修改時間發生變化的文件或目錄，當然也可以根據權限，屬主等屬性變化的同步，所以可以實現快速同步。

　　3、rsync 具有如下的基本特性：

　　　　a、可以鏡像保存整個目錄樹和文件系統

　　　　b、可以很容易做到保持原來文件的權限、時間、軟硬鏈接等

　　　　c、無須特殊權限即可安裝

　　　　d、優化的流程，文件傳輸效率高

　　　　e、可以使用 rsh、ssh 方式來傳輸文件，當然也可以通過直接的 socket 連接

　　　　f、支持匿名傳輸，以方便進行網站鏡象

三、Rsync命令格式

　　1、本地:  rsync [OPTION...] SRC... [DEST] 

　　2、通過shell遠程訪問:  

　　　　 拉取: rsync [OPTION...] [USER@]HOST:SRC... [DEST]  

　　　　 推送: rsync [OPTION...] SRC... [USER@]HOST:DEST 

　　3、通過rsync守護進程訪問:  

　　　　 拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST]          

　　　　　　rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]  

　　　　 推送: rsync [OPTION...] SRC... [USER@]HOST::DEST          

　　　　　　rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

四、什么Sersync？

　　1、sersync是基於inotify開發的，類似於inotify-tools的工具，Sersync可以記錄下被監聽目錄中發生變化的（包括增加、刪除、修改）具體某一個文件或者某一個目錄的名字，然后使用rsync同步的時候，只同步發生變化的文件或者目錄，因此效率更高。

　　2、主要應用場景為數據體積大，並且文件很多。

　　3、網站：https://code.google.com（需要FQ）

五、測試環境

　　主機1：192.168.30.41　　操作系統：Centos7.5　　角色:sync server

　　主機2：192.168.30.42　　操作系統：Centos7.5　　角色:sync client，sersync 端

六、主機1編譯安裝Rsync

　　1、首先卸載本機rsync

　　　　yum remove -y rsync

　　2、下載軟件並上傳(需FQ)

　　　　wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz

　　3、解壓包並編譯

　　　　mkdir -p /application/rsync

　　　　tar -zxvf /application/rsync-3.1.3.tar.gz

　　　　cd /application/rsync-3.1.3

　　　　./configure --prefix=/application/sync

　　　　make && make install

　　　　rm -rf  /application/rsync-3.1.3.tar.gz   /application/rsync-3.1.3

　　4、配置環境變量和建立軟連接

　　　　vim /etc/profile.d/rsync.sh 添加　　

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/rsync/bin

 　　　　ln -s /application/rsync/bin/rsync /usr/local/bin/

　　5.查看當前版本

　　　　 rsync --version

　　6、創建相應文件夾

　　　　mkdir -p /application/rsync/{conf,data,logs,passwd}

　　7、編輯相應配置文件

　　　　a、vim /application/rsync/conf/rsyncd.conf 添加如下內容

uid = rsync
gid = rsync
port = 873
use chroot = on
max connections = 200
timeout = 120
pid file = /application/rsync/logs/rsyncd.pid
lock file = /application/rsync/logs/rsyncd.lock
log file = /application/rsync/logs/rsyncd.log

[bakup]
ignore errors
path = /application/rsync/data
read only = false
list = false
#hosts allow = all
#host deny = 0.0.0.0/32
auth users = rsync_bakup
secrets file = /application/rsync/passwd/rsyncd.password

　　　　b、創建密碼文件

　　　　　　echo "rsync_bakup:123456"  /application/rsync/passwd/rsyncd.password   #密碼文件中格式為 賬號:密碼，賬號為配置文件中對應模塊的auth users項中的賬號。

　　　　c、修改密碼文件權限

　　　　　　chmod 600 /application/rsync/passwd/rsyncd.password

　　　　d、修改數據目錄文件權限

　　　　　　chown rsync:rsync /application/rsync/data

　　8、啟動服務

　　　　/application/rsync/bin/rsync --daemon --config /application/rsync/conf/rsyncd.conf

　　　　查看服務是否啟動

　　　　

七、主機2安裝rsync客戶端

　　1、yum install -y rsync即可

　　2、編輯密碼文件並給相應的權限

　　　　echo "123456" /etc/rsyncd.password　　#文件中寫入鏈接rsync server賬號rsync_bakup的密碼即可。

　　　　chmod 600 /etc/rsyncd.password

　　3、向服務端推送數據

　　　　touch test.txt  #文件所有用戶需要有讀權限才可以推送

　　　　rsync -avzP test.txt  rsync_bakup@192.168.30.41::bakup --password-file=/etc/rsyncd.password

　　4、從服務端拉取數據

 　　　　rsync -avzP rsync_bakup@192.168.30.41::bakup  /tmp --password-file=/etc/rsyncd.password

八、主機2安裝Sersync

　　1、下載

　　　　wget  https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

　　2、解壓並將對應文件拷貝至對應文件夾

　　　　mkdir -p /application/sersync/{bin,conf,logs}

　　　　tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

　　　　mv  GNU-Linux-x86/sersync2 /application/sersync/bin

　　　　mv  GNU-Linux-x86/confxml.xml  /application/sersync/conf

　　3、配置環境變量

　　　　vim  /etc/profile.d/sersync.sh

　　　　添加內容

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/sersync/bin

　　　　source /etc/profile.d/sersync.sh

　　4、備份配置文件然后修改

　　　　cp /application/sersync/conf/confxml.xml  /application/sersync/conf/confxml.xmlbk

　　　　vim  /application/sersync/conf/confxml.xml修改成如下內容

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
   # 設置本地IP和端口
    <host hostip="localhost" port="8008"></host>
   # 開啟DUBUG模式     
    <debug start="false"/>
   # 開啟xfs文件系統    
    <fileSystem xfs="false"/>
   # 同步時忽略推送的文件(正則表達式),默認關閉    
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
  # 設置要監控的事件    
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
    </inotify>

    <sersync>
  # 本地監視目錄路徑    
    <localpath watch="/application/rsync/data">
  #定義同步Server ip和模塊    
        <remote ip="192.168.30.41" name="bakup"/>
    </localpath>
    <rsync>
  # rsync指令參數    
        <commonParams params="-artuz"/>
  # rsync同步認證        
        <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/>
  # 設置rsync遠程服務端口，非默認端口需要打開自定義(若開啟rsync+ssh, 則這里需定義SSH端口)        
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
  # 設置超時時間        
        <timeout start="false" time="100"/><!-- timeout=100 -->
  # 設置rsync+ssh加密傳輸模式,默認關閉，開啟需設置SSH加密證書        
        <ssh start="false"/>
    </rsync>
  # sersync傳輸失敗日志腳本路徑，每隔60會重新執行該腳本，執行完畢會自動清空。    
    <failLog path="/application/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
  # 設置rsync定時傳輸，默認關閉    
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
  # 設置sersync傳輸后調用name指定的插件腳本，默認關閉    
    <plugin start="false" name="command"/>
    </sersync>

  # 插件腳本范例    
    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>    <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>
  
  # 插件腳本范例
    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>

　　5、啟動

　　　　/application/sersync/bin/sersync2 -d -r -o /application/sersync/conf/confxml.xml

　　6、測試

　　　　cd /application/rsync/data 

　　　　for f in `seq 10`;do touch $f;done

　　　　完成后查看服務端對應模塊路徑下是否有相應文件，若同步表示成功。