rsync本地同步和远程主机同步

 

rsync同步基本说明

 

rsync的目的是实现本地主机和远程主机上的文件同步(包括本地推到远程，远程拉到本地两种同步方式)，也可以实现本地不同路径下文件的同步，但不能实现远程路径1到远程路径2之间的同步(scp可以实现)。

不考虑rsync的实现细节，就文件同步而言，涉及了源文件和目标文件的概念，还涉及了以哪边文件为同步基准。例如，想让目标主机上的文件和本地文件保持同步，则是以本地文件为同步基准，将本地文件作为源文件推送到目标主机上。反之，如果想让本地主机上的文件和目标主机上的文件保持同步，则目标主机上的文件为同步基准，实现方式是将目标主机上的文件作为源文件拉取到本地。当然，要保持本地的两个文件相互同步，rsync也一样能实现，这就像Linux中cp命令一样，以本地某文件作为源，另一文件作为目标文件，但请注意，虽然rsync和cp能达到相同的目的，但它们的实现方式是不一样的。

既然是文件同步，在同步过程中必然会涉及到源和目标两文件之间版本控制的问题，例如是否要删除源主机上没有但目标上多出来的文件，目标文件比源文件更新(newer than source)时是否仍要保持同步，遇到软链接时是拷贝软链接本身还是拷贝软链接所指向的文件，目标文件已存在时是否要先对其做个备份等等。

rsync同步过程中由两部分模式组成：决定哪些文件需要同步的检查模式以及文件同步时的同步模式。

(1).检查模式是指按照指定规则来检查哪些文件需要被同步，例如哪些文件是明确被排除不传输的。默认情况下，rsync使用"quick check"算法快速检查源文件和目标文件的大小、mtime(修改时间)是否一致，如果不一致则需要传输。当然，也可以通过在rsync命令行中指定某些选项来改变quick check的检查模式，比如"--size-only"选项表示"quick check"将仅检查文件大小不同的文件作为待传输文件。rsync支持非常多的选项，其中检查模式的自定义性是非常有弹性的。

(2).同步模式是指在文件确定要被同步后，在同步过程发生之前要做哪些额外工作。例如上文所说的是否要先删除源主机上没有但目标主机上有的文件，是否要先备份已存在的目标文件，是否要追踪链接文件等额外操作。rsync也提供非常多的选项使得同步模式变得更具弹性。

相对来说，为rsync手动指定同步模式的选项更常见一些，只有在有特殊需求时才指定检查模式，因为大多数检查模式选项都可能会影响rsync的性能。

 

 rsync三种工作方式

以下是rsync的语法：

Local:  rsync [OPTION...] SRC... [DEST]
 
Access via remote shell:
  Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
 
Access via rsync daemon:
  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

由此语法可知，rsync有三种工作方式：

(1).本地文件系统上实现同步。命令行语法格式为上述"Local"段的格式。

(2).本地主机使用远程shell和远程主机通信。命令行语法格式为上述"Access via remote shell"段的格式。

(3).本地主机通过网络套接字连接远程主机上的rsync daemon。命令行语法格式为上述"Access via rsync daemon"段的格式。

前两者的本质是通过管道通信，即使是远程shell。而方式(3)则是让远程主机上运行rsync服务，使其监听在一个端口上，等待客户端的连接。

但是，还有第四种工作方式：通过远程shell也能临时启动一个rsync daemon，这不同于方式(3)，它不要求远程主机上事先启动rsync服务，而是临时派生出rsync daemon，它是单用途的一次性daemon，仅用于临时读取daemon的配置文件，当此次rsync同步完成，远程shell启动的rsync daemon进程也会自动消逝。此通信方式的命令行语法格式同"Access via rsync daemon"，但要求options部分必须明确指定"--rsh"选项或其短选项"-e"。

 

Local:  rsync [OPTION...] SRC... [DEST]
 
Access via remote shell:
  Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
 
Access via rsync daemon:
  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

其中，第一个路径参数一定是源文件路径，即作为同步基准的一方，可以同时指定多个源文件路径。最后一个路径参数则是目标文件路径，也就是待同步方。路径的格式可以是本地路径，也可以是使用user@host:path或user@host::path的远程路径，如果主机和path路径之间使用单个冒号隔开，表示使用的是远程shell通信方式，而使用双冒号隔开的则表示的是连接rsync daemon。另外，连接rsync daemon时，还提供了URL格式的路径表述方式rsync://user@host/path。

如果仅有一个SRC或DEST参数，则将以类似于"ls -l"的方式列出源文件列表(只有一个路径参数，总会认为是源文件)，而不是复制文件。

如果对rsync不熟悉，可暂先只了解本地以及远程shell格式的user@host:path路径格式。例如：

[root@node1 ~]# rsync /etc/fstab /tmp                # 在本地同步
[root@node1 ~]# rsync -r /etc 192.168.170.133:/tmp       # 将本地/etc目录拷贝到远程主机的/tmp下，以保证远程/tmp目录和本地/etc保持同步
[root@node1 ~]# rsync -r 192.168.170.133:/etc /tmp       # 将远程主机的/etc目录拷贝到本地/tmp下，以保证本地/tmp目录和远程/etc保持同步
[root@node1 ~]# rsync /etc/                          # 列出本地/etc/目录下的文件列表
[root@node1 ~]# rsync 192.168.170.133:/tmp/              # 列出远程主机上/tmp/目录下的文件列表

 

另外，使用rsync一定要注意的一点是，源路径如果是一个目录的话，带上尾随斜线和不带尾随斜线是不一样的，不带尾随斜线表示的是整个目录包括目录本身，带上尾随斜线表示的是目录中的文件，不包括目录本身。例如：

[root@node1 ~]# rsync -a /etc /tmp
[root@node1 ~]# rsync -a /etc/ /tmp

 

第一个命令会在/tmp目录下创建etc目录，而第二个命令不会在/tmp目录下创建etc目录，源路径/etc/中的所有文件都直接放在/tmp目录下。

 

 

rsync参数选项

-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。
-n --dry-run  ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive  ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive：递归到目录中去。
-t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
          ：检查出mtime不同从而导致增量传输无效。
-o --owner：保持owner属性(属主)。
-g --group：保持group属性(属组)。
-p --perms：保持perms属性(权限，不包括特殊权限)。
-D        ：是"--device --specials"选项的组合，即也拷贝设备文件和特殊文件。
-l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
-z        ：传输时进行压缩提高效率。
-R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性。用法见下文示例。
--size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。
-u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为。
-d --dirs   ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1。
--max-size  ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如："--max-size=1.5m")
--min-size  ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude   ：指定排除规则来排除不需要传输的文件。
--delete    ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"--delete"是在接收端执行的，所以它是在
            ：exclude/include规则生效之后才执行的。
-b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~"做后缀。
--backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e          ：指定所要使用的远程shell程序，默认为ssh。
--port      ：连接daemon时使用的端口号，默认为873端口。
--password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码。
-W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效。
--existing  ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing：要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能，见下文示例。
--remove-source-files：要求删除源端已经成功传输的文件。

 

rsync的选项非常多，能够实现非常具有弹性的功能，以上选项仅仅只是很小一部分常用的选项，关于更完整更详细的选项说明，见rsync官方网站

 

 

准备工作

//安装rsync
[root@node1 ~]# yum install -y rsync

//关闭防火墙和selinux
[root@node1 ~]# systemctl stop firewalld
[root@node1 ~]# setenforce 0

[root@node2 ~]# systemctl stop firewalld
[root@node2 ~]# setenforce 0

 

本地同步，一般不会用，基本上都是同步到另外一台主机

[root@node1 ~]# tree mei
mei
└── biao
    └── jian


[root@node1 ~]# rsync -avz mei  /opt/haha
sending incremental file list
mei/
mei/biao/
mei/biao/jian

sent 149 bytes  received 47 bytes  392.00 bytes/sec
total size is 0  speedup is 0.00
[root@node1 ~]# cd /opt/
[root@node1 opt]# ls
123  haha
[root@node1 opt]# tree
.
├── 123
└── haha
    └── mei
        └── biao
            └── jian

4 directories, 1 file

 

多个目标进行同步

[root@node1 ~]# ls
anaconda-ks.cfg  mei
[root@node1 ~]# rsync -avz anaconda-ks.cfg  mei  /opt/AAA
sending incremental file list
created directory /opt/AAA
anaconda-ks.cfg
mei/
mei/biao/
mei/biao/jian

sent 894 bytes  received 97 bytes  1,982.00 bytes/sec
total size is 1,184  speedup is 1.19
[root@node1 ~]# ls /opt/
123  AAA  haha

[root@node1 ~]# cd /opt/
[root@node1 opt]# tree
.
├── 123
├── AAA
│   ├── anaconda-ks.cfg
│   └── mei
│       └── biao
│           └── jian
└── haha
    └── mei
        └── biao
            └── jian

7 directories, 3 files

 

 

同步文件到远程主机

被同步的主机和同步的主机都要安装rsync

//我的node2主机上没有安装rsync，测试一下能否使用
[root@node2 opt]# which rsync
/usr/bin/which: no rsync in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)




[root@node1 ~]# rsync -avz anaconda-ks.cfg  root@192.168.170.133:/opt/
The authenticity of host '192.168.170.133 (192.168.170.133)' can't be established.
ECDSA key fingerprint is SHA256:jVnkkd9Xi4gyvKGo6MZuf+RYVysQmAcKhtY+kyMT+IU.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.170.133' (ECDSA) to the list of known hosts.
root@192.168.170.133's password: 
bash: rsync: command not found
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: remote command not found (code 127) at io.c(226) [sender=3.1.3]




//node2安装rsync，node1同步文件到node2
[root@node2 opt]# yum install -y rsync
[root@node2 ~]# cd /opt/
[root@node2 opt]# ls


[root@node1 ~]# rsync -avz anaconda-ks.cfg   root@192.168.170.133:/opt/
root@192.168.170.133's password: 
sending incremental file list
anaconda-ks.cfg

sent 769 bytes  received 35 bytes  178.67 bytes/sec
total size is 1,184  speedup is 1.47

[root@node2 opt]# ls
anaconda-ks.cfg

 

将远程主机文件同步到本地

[root@node1 ~]# ls 
anaconda-ks.cfg  mei
[root@node1 ~]# rm -rf *
[root@node1 ~]# ls
[root@node1 ~]# 


[root@node2 opt]# ls
123  anaconda-ks.cfg


[root@node1 ~]# rsync -avz root@192.168.170.133:/opt/*   .
root@192.168.170.133's password: 
receiving incremental file list
anaconda-ks.cfg
123/

sent 51 bytes  received 806 bytes  342.80 bytes/sec
total size is 1,184  speedup is 1.38
[root@node1 ~]# tree
.
├── 123
└── anaconda-ks.cfg

1 directory, 1 file



//把当前目录发到远程主机上绝对路径与相对路径的区别

[root@node2 opt]# rm -rf *
[root@node2 opt]# ls

//相对路径
[root@node1 ~]# rsync -avz . root@192.168.170.133:/opt/
root@192.168.170.133's password: 
sending incremental file list
./
.bash_history
.bash_logout
.bash_profile
.bashrc
.cshrc
.tcshrc
.viminfo
anaconda-ks.cfg
.ssh/
.ssh/id_rsa
.ssh/id_rsa.pub
.ssh/known_hosts
123/

sent 4,901 bytes  received 240 bytes  3,427.33 bytes/sec
total size is 5,969  speedup is 1.16


[root@node2 opt]# ls
123  anaconda-ks.cfg
[root@node2 opt]# tree /opt/
/opt/
├── 123
└── anaconda-ks.cfg

1 directory, 1 file




//绝对路径

[root@node2 opt]# rm -rf *
[root@node2 opt]# ls
[root@node2 opt]# 
[root@node1 ~]# rsync -avz /root root@192.168.170.133:/opt/
root@192.168.170.133's password: 
sending incremental file list
root/
root/.bash_history
root/.bash_logout
root/.bash_profile
root/.bashrc
root/.cshrc
root/.tcshrc
root/.viminfo
root/anaconda-ks.cfg
root/.ssh/
root/.ssh/id_rsa
root/.ssh/id_rsa.pub
root/.ssh/known_hosts
root/123/

sent 4,917 bytes  received 245 bytes  3,441.33 bytes/sec
total size is 5,969  speedup is 1.16



[root@node2 opt]# ls
root
[root@node2 opt]# tree /opt/
/opt/
└── root
    ├── 123
    └── anaconda-ks.cfg

2 directories, 1 file