烂泥：linux文件同步之rsync学习（一）

本文首发于烂泥行天下。这几天刚好有空就打算开始学习linux下的文件同步软件rsync，在学习rsync时，我们可以分以下几个步骤进行：
1、 rsync是什么
2、 rsync的工作原理
3、 rsync优点
4、 rsync认证方式
5、 安装rsync
6、 rsync命令参数详解
7、 配置rsync
8、 rsync的启动与关闭
9、 rsync同步实例
说明：rsync服务器与客户端使用的OS均为：centos 6.5 64bit。



一、rsync是什么
在开始正式学习rsync之前，我们先来回答这个问题：rsync是什么。
rsync（remote synchronize）是Liunx/Unix下的一个远程数据同步工具。它可通过LAN/WAN快速同步多台主机间的文件和目录，并适当利用rsync算法（差分编码）以减少数据的传输。
rsync算法并不是每一次都整份传输，而是只传输两个文件的不同部分，因此其传输速度相当快。
除此之外，rsync可拷贝、显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。
二、rsync的工作原理
1、客户端构造FileList，FileList包含了需要与服务器同步的所有文件信息对name->id（id用来唯一表示文件例如MD5）。
2、客户端将FileList发送到服务器。
3、服务器上rsync处理客户端发过来的FileList，构建新的NewFileList。其中根据MD5值比较，删除服务器上已经存在的文件信息对，只保留服务器上不存在或变化的文件。
4、客户端得到服务器发送过来的NewFileList，然后把NewFileList中的文件重新传输到服务器。
三、rsync优点
rsync有以下几个优点：
1）可以镜像保存整个目录树和文件系统。
2）可以很容易做到保持原来文件的权限、时间、软硬连接等。
3）无需特殊权限即可安装。
4）拥有优化的流程和比较高的文件传输效率。
5）可以使用shell（rsh、ssh）方式来传输文件。
6）支持匿名运行。
7）与scp相比，rsync传输速度绝对远远超过scp的传输速度。
我们在局域网中经常用rsync和scp传输大量mysql数据库文件，发现rsync传输文件速度至少要比scp快20倍以上。
所以如果需要在Liunx/Unix服务器之间互传海量数据时，建议选择rsync进行传输。
四、rsync认证方式
rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式。在平时使用过程，我们使用最多的是rsync-daemon方式。
注意：在使用rsync时，服务器和客户端都必须安装rsync程序。
4.1 rsync-daemon认证
rsync在rsync-daemon认证方式下，默认监听TCP的873端口。
rsync-daemon认证方式是rsync的主要认证方式，这个也是我们经常使用的认证方式。并且也只有在此种模式下，rsync才可以把密码写入到一个文件中。
注意：rsync-daemon认证方式，需要服务器和客户端都安装rsync服务，并且只需要rsync服务器端启动rsync，同时配置rsync配置文件。客户端启动不启动rsync服务，都不影响同步的正常进行。
4.2 ssh认证
rsync在ssh认证方式下，可通过系统用户进行认证，即在rsync上通过ssh隧道进行传输，类似于scp工具。此时同步操作不在局限于rsync中定义的同步文件夹。
注意：ssh认证方式，不需要服务器和客户端配置rsync配置文件，只需要双方都安装rsync服务，并且也不需要双方启动rsync。
若rsync服务端SSH为标准端口，此时rsync使用方式如下：
rsync -avz /root/test root@192.168.199.248:/root/



若rsync服务端SSH为非标准端口，可通过rsync的-e参数进行端口指定。使用方式如下：
rsync -avz /root/test -e 'ssh -p1234' root@192.168.199.248:/root/



五、安装rsync
安装rsync，我们可以分为两种方式：源码方式安装和RPM方式安装。
注意：rsync软件无论是服务器端还是客户端都是同一个软件包。
下面我们就一一讲解，这两种方式的安装方法。
5.1 源码方式安装
源码方式安装rsync，我们需要到其官网下载对应的安装包。rsync官网：rsync.samba.org。如下：






我们使用wget进行下载，如下：
wget http://rsync.samba.org/ftp/rsync/rsync-3.1.1.tar.gz


安装包下载完毕后，我们开始解压并安装。如下：
tar -xf rsync-3.1.1.tar.gz
./configure
make &&make install









注意：源码安装rsync时，其编译时所需要的gcc库文件尽量提前安装完毕。
rsync源码安装会把rsync默认安装到/usr/local/目录下，我们可以通过相关帮助进行查看到。如下：
./configure --help



rsync安装完毕后，我们可以查看rsync的使用帮助。我们此时需要切换到/usr/local/bin目录下，如下：
/usr/local/bin
rsync -h



源码方式安装的rsync，要使其开机启动的话。我们可以直接把启动命令放入到rc.local文件中。如下：
echo "/usr/local/bin/rsync --daemon --config=/etc/rsyncd.conf">>/etc/rc.local
也可以写成：
echo "/usr/local/bin/rsync --daemon">>/etc/rc.local
cat /etc/rc.local



5.2 RPM方式安装
RPM方式安装rsync比较简单，直接使用yum进行安装即可。如下：
yum -y install rsync



查看rsync安装的位置，如下：
rpm -ql rsync-3.0.6-12.el6.x86_64



通过上图可以看到RPM方式安装的rsync是把rsync安装到/usr/bin目录下的，并且还生成一个/etc/xinetd.d/rsync文件。
查看安装时产生的帮助文档，如下：
more /usr/share/doc/rsync-3.0.6/README



安装结束后，我们可以查看下rsync命令所在的目录以及rsync的帮助。如下：
which rsync
rsync –-help



通过上图可以很明显的看到rsync确实被安装到了/usr/bin目录下。
RPM方式安装的rsync，要使其开机启动的话，我们也可以让其与源码方式安装的一样进行开机启动。
除此之外还有一种方法，可以使其开机启动。如果你注意观察的话，会发现rsync在安装时生成的/etc/xinetd.d/rsync文件。
在centos下rsync默认以xinetd方式运行rsync服务。所以RPM方式安装的话rsync，我们只需启动xinet服务即可。
但是在启动xinetd服务之前，我们还需要配置文件/etc/xinetd.d/rsync，如下：
vi /etc/xinetd.d/rsync



配置完毕后，我们还需要安装xinetd软件包，否则无法启动xinetd服务。如下：
yum -y install xinetd
/etc/init.d/xinetd start
chkconfig xinetd on
netstat -tunlp |grep 873






六、rsync命令参数详解
rsync安装完毕后，我们来查看下rsync命令的帮助，如下：
rsync --help



6.1 rsync几个重要参数
我们先在此大致介绍下经常使用的几个参数：-v，-a，-z，有关这些参数的具体说明详见这篇文章《烂泥：【转】rsync命令参数详解》。
-v, --verbose详细模式输出。
-a, --archive归档模式，表示以递归方式传输文件，并保持所有文件属性不变。
-z, --compress对备份的文件在传输时进行压缩处理。
--delete：删除那些DST中存在而在SRC中没有的文件。
6.2 rsync六种工作模式
除此上述几个参数之外，我们还注意到上图中rsync的七个命令格式：如下：
1）rsync [OPTION]... SRC [SRC]... DEST
2）rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
3）rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
4）rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
5）rsync [OPTION]... [USER@]HOST:SRC [DEST]
6）rsync [OPTION]... [USER@]HOST::SRC [DEST]
7）rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
这七个命令格式就是代表rsync六种不同的工作模式，其中第四种和第七种模式没有多大的区别。在这几种模式中第三种和第六种模式是我们经常使用的，特别是第三种模式。
这六种模式总体上可以用两个词进行区分：推送、拉取。
推送就是在客户端上执行rsync命令，目的是把客户端需要同步的文件推送到服务器上。
拉取也是在客户端上执行rsync命令，目的是把服务器上的文件拉取到本地。
注意：无论是推送和拉取，rsync命令都是在客户端执行，只是命令的格式不同而已。
1) rsync [OPTION]... SRC [SRC]... DEST
同步本地文件，从一个目录同步到另外一个目录。如：rsync -avz /data /backup，表示把本地/data目录下的文件同步到本地/backup目录下。
2) rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
使用一个远程shell程序(如rsh、ssh)来实现把本地的文件同步到远程机器上。此种方式属于推送方式。如：rsync -avz /data test@192.168.199.247:/backup，表示把本地/data目录下的文件同步到服务器192.168.199.247的/backup目录下。
3) rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
把本地的文件同步到远程服务器上，其中DEST表示的是rsync服务器的认证模块名。此种方式属于推送方式。如：rsync -avz /data test@192.168.199.247::backup --password-file=/etc/rsyncd.password，表示把本地/data目录下的文件同步到服务器192.168.199.247的backup模块下path路径下。
4) rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
列出远程机器的文件列表。这类似于ls命令，不过只要在命令中省略掉本地机信息即可。如：rsync -v rsync://test@192.168.199.247/backup，表示在本机列出服务器192.168.199.247的/backup目录下的内容，如下：



5) rsync [OPTION]... [USER@]HOST:SRC [DEST]
把远程机器的文件同步到本地，此种方式属于拉取方式。如：rsync -avz test@192.168.199.247:/backup /data，表示把192.168.199.247的/backup目录下文件同步到本地/data目录下。
6) rsync [OPTION]... [USER@]HOST::SRC [DEST]
把远程机器的文件同步到本地，此种方式属于拉取方式。如：rsync -avz test@192.168.199.247::backup --password-file=/etc/rsyncd.password /data，表示把192.168.199.247的backup模块path路径下的文件同步到本地/data目录下。
七、配置rsync
rsync安装完毕后，我们就需要配置rsync。而对于rsync服务器来说，最重要和最复杂的就是它的配置了。
rsync的配置分为服务器端和客户端，下面我们分开一一讲解。
7.1 rsync服务器端配置
rsync服务器端需要两个配置文件：rsyncd.conf、rsyncd.password。
其中rsyncd.conf默认存放在/etc/目录下，同时它也是rsync服务器的主配置文件。该文件配置了rsync服务器的控制认证、访问、日志记录等等。而rsyncd.password主要用于存储rsync用户名和密码。
但是在rsync安装完毕后后是不会生成以上这两个配置文件的，需要我们手工进行创建。
rsyncd.conf配置文件内容如下：
cat /etc/rsyncd.conf
uid = root
gid = root
user chroot = no
max connections = 200
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/run/rsyncd.log
[backup]
path = /backup/
ignore errors
read only = no
list = no
hosts allow = 192.168.199.0/255.255.255.0
auth users = test
secrets file = /etc/rsyncd.password
[www]
path = /www/
ignore errors
read only = no
list = no
hosts allow = 192.168.199.0/255.255.255.0
auth users = apache
secrets file = /etc/rsyncd.password



有关rsync配置文件的详细讲解，看下篇文章《烂泥：rsync配置文件详解》。
rsync默认是在nobody用户下运行的，但是我们为了以后同步时不为各种权限的事情烦恼，就让其在root用户下运行。
配置文件创建完毕后，我们来创建密码文件。如下：
echo "test:test">>/etc/rsyncd.password
echo "apache:apache">>/etc/rsyncd.password
cat /etc/rsyncd.password



注意：该密码文件中的用户和密码可以进行自定义，同时该用户不一定要在服务器中的系统用户存在。



密码文件创建完毕后，要把其权限要设置为600，否则会在以后同步时提示验证出错。如下：
chmod 600 /etc/rsyncd.password



一个rsync配置文件中可以包含多个认证模块，同时一个密码文件中也可以存放多个用户和其对应的密码。其中每一个认证模块可以对应不同的客户端。
以上两个文件创建完毕后，我们来创建其对应的目录并授权，如下：
mkdir /{backup,www}
chown root:root –R /backup/
chown root:root –R /www/






以上就是rsync服务器端的配置。
7.2 rsync客户端配置
rsync客户端配置与服务器端相比差别还是比较大的。
在客户端安装完毕rsync服务后，是不需要启动rsync服务的。我们只需要在客户端创建连接rsync服务器时，验证码用户所需要的密码文件即可。
该密码文件中的密码要与rsync服务器上的密码文件中的密码对应，并且也要与rsync服务器rsyncd.conf配置文件中的认证模块中的用户匹配。
当然该密码文件不创建也是可以的，不创建的话。我们在执行rsync操作时，就需要输入rsync的对应用户的密码。如下：
echo "apache">>/etc/rsyncd.password
chmod 600 /etc/rsyncd.password



注意：该密码文件中只能存放一个用户的密码，并且该文件与rsync服务器端的密码文件一样也需要把其权限设置为600。
以上就是rsync客户端的配置。
八、rsync的启动与关闭
rsync服务器端与客户端都配置完毕后，我们就可以来启动rsync服务器，并且也可以关闭rsync服务。
8.1 启动rsync服务
在前面我们讲过rsync-daemon认证方式，需要服务器和客户端都安装rsync服务，并且只需要rsync服务器端启动rsync，同时配置rsync配置文件，客户端启动不启动rsync服务。
在此我们只讲解rsync-daemon认证方式的启动。有关rsync使用ssh方式认证，我们就不在此讲解了，如果有想了解的童鞋，可以看看6.2章节的rsync六种工作模式。
如果是源码方式安装的rsync，我们可以使用rsync –daemon来启动rsync。如下：
echo PATH=$PATH:/usr/local/bin/>>/etc/profile
source /etc/profile
rsync --daemon
ps aux |grep rsync
netstat -tunlp |grep 873



注意：上述命令行中，只有rsync --daemon才是启动rsync的命令。并且该命令启动时，会默认加载/etc/rsyncd.conf文件。
所以如果rsync的配置文件不在/etc目录下或者rsync配置文件名不为rsyncd.conf，那么我们在启动rsync服务时，就要手工加上该配置文件的完整路径。方法如下：
rsync --daemon --config=/etc/rsyncd.conf



有关如何加载该配置文件，我们可以通过rsync --daemon --help进行查看。如下：
rsync --daemon --help



如果是RPM方式安装的rsync，我们在5.2章节RPM方式安装rsync中已经讲解过了，可以通过启动xinetd服务来启动rsync。如下：
/etc/init.d/xinetd start



以上就是rsync服务的启动，下面我们开始介绍如何关闭rsync服务。
8.2 关闭rsync服务
要关闭rsync服务，如果是源码方式安装的，我们可以直接通过pkill rsync命令进行关闭。如下：
pkill rsync



如果是通过yum方式进行安装的，我们可以通过关闭xinetd服务来达到关闭rsync服务的目的。如下：
/etc/init.d/xinetd stop



除了以上两种方法之外，我们还可以通过比较暴力的方法关闭rsync服务。如下：
kill -9 6780



九、rsync同步实例
rsync服务正常启动后，我们就要切换到客户端来实际同步一个文件。
现在rsync服务器是192.168.199.247，rsync客户端为192.168.199.248。
首先在rsync服务器192.168.199.247的www模块下/www/目录下新建一个文件ilanni247，内容如下：
ifconfig eth1|grep "inet addr"|awk '{print $2}'|cut -d: -f2
vi /www/ilanni247
this is server 247 www.



然后在rsync客户端192.168.199.248的/root下新建一个www目录，并在此目录下创建一个文件ilanni248，内容如下：
ifconfig eth1|grep "inet addr"|awk '{print $2}'|cut -d: -f2
mkdir www
vi /www/ilanni248
this is client 248 www.



9.1 把248文件推送到247上
要把rsync客户端192.168.199.248文件推送到rsync服务器192.168.199.247上，我们需要使用到rsync帮助命令中的第三种命令，如下：
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
有关这个命令的作用，我们在前面已经介绍过了，就是把本地的文件同步到远程服务器上。
具体使用方法，如下：
rsync -avz /root/www/* apache@192.168.199.247::www --password-file=/etc/rsyncd.password






这条命令的作用是把/root/www目录下的所有文件同步到192.168.199.247服务器的www模块下。
如果要把/root/www/ilannidir目录本身同步到192.168.199.247服务器的www模块下的话，命令如下：
rsync -azv /root/www/ilannidir apache@192.168.199.247::www --password-file=/etc/rsyncd.password
或者:
rsync -azv /root/www/ilannidir apache@192.168.199.247::www --password-file=/etc/rsyncd.password






通过上图，我们可以看到本地确实已经把文件与目录同步到rsync服务器上了。
9.2 把247文件拉取到248上
要把rsync服务器192.168.199.247的文件拉取到rsync客户端192.168.199.248上，我们需要使用到rsync帮助命令中的第六个命令，如下：
rsync [OPTION]... [USER@]HOST::SRC [DEST]
有关这个命令的作用，我们在前面已经介绍过了，就是把远程机器的文件同步到本地。
具体使用方法，如下：
rsync -avz apache@192.168.199.247::www --password-file=/etc/rsyncd.password /root/www/



这条命令的作用是把192.168.199.247服务器的www模块下所有文件同步到本机的/root/www/目录下。

本文出自 “烂泥行天下” 博客，请务必保留此出处http://ilanni.blog.51cto.com/526870/1603839