1.Inotify
Inotify,它是一個內核用於通知用戶空間程序文件系統變化的機制。眾所周知,Linux 桌面系統與 MAC 或 Windows 相比有許多不如人意的地方,為了改善這種狀況,開源社區提出用戶態需要內核提供一些機制,以便用戶態能夠及時地得知內核或底層硬件設備發生了什么,從而能夠更好地管理設備,給用戶提供更好的服務,如hotplug、udev 和 inotify 就是這種需求催生的。Hotplug 是一種內核向用戶態應用通報關於熱插拔設備一些事件發生的機制,桌面系統能夠利用它對設備進行有效的管理,udev 動態地維護 /dev 下的設備文件,inotify 是一種文件系統的變化通知機制,如文件增加、刪除等事件可以立刻讓用戶態得知,該機制是著名的桌面搜索引擎項目 beagle 引入的,並在 Gamin 等項目中被應用。
2.rsync
rsync其實就是remote rsync,它是一個遠程同步工具,兼具cp和scp的功能,rsync命令的使用幾乎和scp是一樣一樣的。rsync是通過超級守護進程xinetd進行觸發同步的。
1)優點:與cp和scp相比來說,rsync更快,更安全,支持增量備份。rsync在數據同步的過程中,不像cp一樣全部都拷貝,而是先去比對特征碼,只有不一樣的才會去拷貝,如果一樣了,就不需再做多余操作。通過使用rsync+crontab可以解決對實時性要求不是太高的場景。
2)缺點:在這個大數據年代,如果你的數據量非常大,你每做一次任務計划,rsync都會先去遍歷目標目錄,把所有數據做一次特征碼比對,然后進行差量傳輸,這個過程會是很漫長的,對於那些要求實時性更新比較高的企業來說,無疑是一場噩夢。但是如果能夠出現一個工具能夠實時的去監控我們的文件系統,只有在數據改變時才會觸發它去同步,那該有多好啊!為了滿足廣大需求者的心聲rsync+inotify組合就出現了
3.rsync+inotify 之推薦理由
1)服務器性能:rsync+crontab會定時去檢查是否有文件更新,這勢必會造成服務器性能下降;而rsync+inotify組合是觸發式更新,只有在數據文件有變化時,才會去更新,因此相對前者而言,是提高了服務器性能
2)數據實時性:rsync+crontab是周期性任務計划,不能保證數據的實時性;rsync+inotify組合是觸發式更新,只要有數據變化,就立刻同步更新
4.系統平台環境
1、操作系統:CentOS6.4-X86_64
2、rsync客戶端(rsync+inotify):172.16.150.150
3、rsync服務端:172.16.251.93,172.16.251.194
實驗拓撲
4.配置rsync服務端(172.16.251.93、172.16.251.194)
配置rsync服務端:172.16.251.93
1)檢查系統是否已經安裝rsync和xinetd超級守護進程,CentOS6.4默認已經安裝rsync,但未安裝xinetd
[root@nmshuishui www]# rpm -qa | grep rsync
rsync-3.0.6-9.el6.x86_64
[root@nmshuishui www]#yum -y install xinetd rsync
2)為rsync服務提供配置文件
vim /etc/rsyncd.conf
01.#Global Settings 全局配置
02.uid = nobody #運行rsync的用戶
03.gid = nobody #運行rsync的用戶組
04.use chroot = no #是否讓進程離開工作目錄
05.max connections = 5 #最大並發連接數,0為不限制
06.timeout = 600 #超時時間
07.pid file = /var/run/rsyncd.pid #指定rsync的pid存放路徑
08.lockfile = /var/run/rsyncd.lock #指定rsync的鎖文件存放路徑
09.log file = /var/log/rsyncd.log #指定rsync的日志存放路徑
10.#模塊配置
11.[web1]
12.path = /var/www #認證的模塊名,在client端需要指定
13.ignore errors = yes #忽略一些無關的I/O錯誤
14.read only = no #客戶端是否能拉(PULL)
15.write only = no #客戶端是否能推(PUSH)
16.hosts allow = 172.16.150.150 #白名單,可以訪問此模塊的主機
17.hosts deny = * #黑名單,*表示任何主機
18.list = yes #客戶端請求是否可以列出模塊列表
19.uid = root #以root的身份去獲取文件
20.gid = root
21.auth users = web #認證此模塊的用戶名
22.secrets file = /etc/web.passwd #指定存放“用戶名:密碼”格式的文
3)創建同步目錄
[root@nmshuishui ~]# mkdir /var/www
4)配置rsync認證文件/etc/web.passwd
[root@nmshuishui ~]# echo "web:web" > /etc/web.passwd
[root@nmshuishui ~]# cat /etc/web.passwd
web:web
5)修改/etc/web.passwd的權限為600
[root@nmshuishui ~]# chmod 600 /etc/web.passwd
[root@nmshuishui ~]# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 27 22:31 /etc/web.passwd
6)配置服務能夠啟動
[root@nmshuishui ~]# chkconfig rsync on
[root@nmshuishui ~]# service xinetd start
Starting xinetd: [ OK ]
配置rsync服務端:172.16.251.194
步驟同上
1)檢查系統是否已經安裝rsync和xinetd超級守護進程
2)為rsync服務提供配置文件
vim /etc/rsyncd.conf
01.#Global Settings
02.uid = nobody
03.gid = nobody
04.use chroot = no
05.max connections = 5
06.timeout = 600
07.pid file = /var/run/rsyncd.pid
08.lockfile = /var/run/rsyncd.lock
09.log file = /var/log/rsyncd.log
10.[web2]
11.path = /var/www
12.ignore errors = yes
13.read only = no
14.write only = no
15.hosts allow = 172.16.150.150
16.hosts deny = *
17.list = yes
18.uid = root
19.gid = root
20.auth users = web
21.secrets file = /etc/web.passwd
3)創建同步目錄
[root@shuishui www]# mkdir /var/www
4)配置rsync認證文件/etc/web.passwd
[root@shuishui www]# echo "web:web" > /etc/web.passwd
[root@shuishui www]# cat /etc/web.passwd
web:web
5)修改/etc/web.passwd的權限為600
[root@shuishui www]# chmod 600 /etc/web.passwd
[root@shuishui www]# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 29 15:21 /etc/web.passwd
6)配置服務能夠啟動
[root@nmshuishui ~]# chkconfig rsync on
[root@nmshuishui ~]# service xinetd start
Starting xinetd: [ OK ]
配置rsync客戶端(172.16.150.150)
1、設置 rsync 客戶端的密碼文件,客戶端只需要設置 rsync 同步的密碼即可,不用設置用戶名(默認已經安裝了rsync)
[root@shuishui www]# echo web > /etc/web.passwd
[root@shuishui www]# cat /etc/web.passwd
web
2、修改/etc/rsyncd.passwd的權限為600
[root@shuishui www]# chmod 600 /etc/web.passwd
[root@shuishui www]# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 26 21:28 /etc/web.passwd
3、安裝inotify-tools
[root@shuishui www]# tar xf inotify-tools-3.13.tar.gz
[root@shuishui www]# cd inotify-tools-3.13
[root@shuishui www]# ./configure
[root@shuishui www]# make && make install
編寫rsync腳本,實現數據實時同步
1、在rsync客戶端(172.16.150.150)編寫rsync腳本
vim /var/www/rsync.sh
01.#!/bin/bash
02.src=/var/www/
03.des1=web1
04.des2=web2
05.host1=172.16.251.93
06.host2=172.16.251.194
07.user1=web
08.user2=web
09./usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w %f' -e modify,delete,create,attrib $src | while read file DATE TIME DIR;
10.do
11./usr/bin/rsync -vzrtopg --delete --progress $src $user1@$host1::$des1 --password-file=/etc/web.passwd
12./usr/bin/rsync -vzrtopg --delete --progress $src $user2@$host2::$des2 --password-file=/etc/web.passwd
13.echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
14.done
2、給rsync.sh執行權限
[root@shuishui www]# chmod +x rsync.sh
[root@shuishui www]# ll rsync.sh
-rwxr-xr-x 1 root root 523 Mar 27 00:46 rsync.sh
3、把腳本加入到開機自動啟動文件
[root@shuishui www]# echo "/var/www/rsync.sh &" >> /etc/rc.local