您的位置:首页 > 运维架构 > Linux

如何实现Linux多台服务器间的文件双向同步

2018-02-01 12:01 531 查看
Linux系统间文件双向同步搭建Unison版 

一、Unison简介 

Unison是Windows、Linux以及其他Unix平台下都可以使用的文件同步工具,它能使两个文件夹(本地或网络上的)保持内容的一致。Unison拥有与其它一些同步工具或文件系统的相同的特性,但也有自身的特点: 

1.跨平台使用; 

2.对内核和用户权限没有特别要求; 

3.Unison是双向的,它能自动处理两分拷贝中更新没有冲突的部分,有冲突的部分将会显示出来让用户选择更新策略; 

4.只要是能连通的两台主机,就可以运行unison,可以直接使用socket连接或安全的ssh连接方式,对带宽的要求不高,使用类似rsync的压缩传输协议。

环境如下: 

vm1 192.168.30.64 

vm2 192.168.30.65

二、编译安装Unison 

Linux下通过源码包编译安装Unison时,需要用到Objective Caml compiler。 

通过以下方式安装 

[root@vm1 ~]# wget http://caml.inria.fr/pub/distrib/ocaml-4.02/ocaml-4.02.0.tar.gz 

[root@vm1 ~]# tar -xzvf ocaml-4.02.0.tar.gz 

[root@vm1 ~]# cd ocaml-4.02.0 

[root@vm1 ocaml-4.02.0]# ./configure 

[root@vm1 ocaml-4.02.0]# make world opt 

[root@vm1 ocaml-4.02.0]# make install

编译安装Unison 

[root@vm1 ~]# wget http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.48.3.tar.gz 

[root@vm1 ~]# tar -xzvf unison-2.48.3.tar.gz 

[root@vm1 ~]# cd unison-2.48.3 

[root@vm1 unison-2.48.3]# make UISTYLE=text 

[root@vm1 unison-2.48.3]# make install

在执行make install的过程中,可能会出现以下错误提示: 

mv: cannot stat ‘/root/bin//unison’: No such file or directory 

make: [doinstall] Error 1 (ignored) 

cp unison /root/bin/ 

cp: cannot create regular file ‘/root/bin/’: Is a directory 

make: * [doinstall] Error 1

出现错误的原因在与Unison默认是将文件Copy到/root/bin目录,但Linux默认是没有该目录的,因此我们需要将生成的可执行文件unison复制到系统的PATH目录。 

[root@vm1 unison-2.48.3]# cp unison /usr/local/bin

将可执行文件unison上传到远程主机192.168.30.65 

[root@vm1 unison-2.48.3]# scp unison root@192.168.30.65:/root/ 

通过SSH登陆到远程主机,再将unison复制到vm2的PATH目录 

[root@vm2 ~]#cp unison /usr/local/bin

三、配置ssh key信任 

建议通过普通用户进行操作,理由是通过root操作本身就危险,免密码登陆的root就更危险了。 

我们使用部署 OA应用程序的用户即可,如 我们的应用程序放在了 /home/oa/tomcat7/webapps/下面,我们可以使用oa用户进行登陆 

在两台服务器上创建oa用户的命令 

[root@vm1 ~]# useradd oa 

[root@vm1 ~]# passwd oa

在vm1上创建key并配置vm2的信任 

[root@vm1 ~]# su – oa 

[oa@vm1 ~]$ ssh-keygen -t rsa 

在提示保存私钥(key)和公钥(public key)的位置时,使用默认值; 

在提示是否需要私钥密码(passphrase)时,直接敲回车,即不使用私钥密码。 

之后,将生成一对密钥,id_rsa(私钥文件)和id_rsa.pub(公钥文件),保存在/home/oa/.ssh/目录下。

将公钥添加到vm2的 authorized_keys 文件中 

将文件上传到vm2 

[oa@vm1 ~]$ scp ~/.ssh/id_rsa.pub oa@192.168.30.65:/home/oa/

使用rsync用户SSH到登陆到远程主机,并将公钥添加到 authorized_keys 文件中 

[oa@vm2 ~]$ mkdir .ssh 

[oa@vm2 ~]$ chmod 700 .ssh 

[oa@vm2 ~]$ mv ~/id_rsa.pub ~/.ssh/authorized_keys 

[oa@vm2 ~]$ chmod 600 ~/.ssh/authorized_keys

同理,执行以下步骤在vm2上创建key并配置vm1的信任 

[root@vm2 ~]# su – oa 

[oa@vm2 ~]$ ssh-keygen -t rsa

将文件上传到vm1 

[oa@vm2 ~]$ scp ~/.ssh/id_rsa.pub oa@192.168.30.64/home/oa/

使用rsync用户SSH到登陆到vm1,并将公钥添加到 authorized_keys 文件中 

[oa@vm1 ~]$ mv ~/id_rsa.pub ~/.ssh/authorized_keys

重启SSH服务 

[root@vm1 ~]# service sshd restart 

[root@vm2 ~]# service sshd restart

四、Unison的配置与使用 

直接使用已部署好的应用程序目录进行同步测试,配置前请先对应用程序进行备份。 

在实际部署中可先部署将应用程序部署在其中一台应用服务器上,然后使用同步工具测试时直接进行同步。

在两台服务器上分别执行一次unison,如果出现提示确认,则直接敲回车选择默认值; 

如果报错提示权限问题请使用chown命令、chmod命令进行相应文件、文件夹的属主及执行权限的变更 

[oa@vm1 ~]$ unison -batch /home/oa/tomcat7/webapps/OA/ ssh://oa@192.168.30.65//home/oa/tomcat7/webapps/OA/ 

[oa@vm2 ~]$ unison -batch /home/oa/tomcat7/webapps/OA/ ssh://oa@192.168.30.64//home/oa/tomcat7/webapps/OA/ 

如果上述执行顺利,说明双向同步的环境已经搭建起来了,下面就是做一些配置 使文件同步常态化。

修改两台服务器的unison配置文件,输入以下内容 

[oa@vm1 ~]$ vi /home/oa/.unison/default.prf

#Unison preferences file
root = /home/oa/tomcat7/webapps/OA/
root = ssh://oa@192.168.30.65//home/oa/tomcat7/webapps/OA/
#force =
#ignore =
batch = true
#repeat = 1
#retry = 3
#owner = true
#group = true
#perms = -1
#fastcheck = false
#rsync = false
#sshargs = -C
#xferbycopying = true
log = true
logfile = /home/oa/.unison/unison.log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

[oa@vm2 ~]$ vi /home/oa/.unison/default.prf

#Unison preferences file
root = /home/oa/test
root = ssh://oa@192.168.30.64//home/oa/tomcat7/webapps/OA/
#force =
#ignore =
batch = true
#repeat = 1
#retry = 3
#iowner = true
#igroup = true
#iperms = -1
#ifastcheck = false
#irsync = false
#isshargs = -C
#ixferbycopying = true
log = true
logfile = /home/oa/.unison/unison.log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

相关注解如下: 

force表示会以本地所指定文件夹为标准,将该目录同步到远端。这里需要注意,如果指定了force参数,那么Unison就变成了单项同步了,也就是说会以force指定的文件夹为准进行同步,类似与rsync。 

Unison双向同步基本原理是:假如有A B两个文件夹,A文件夹把自己的改动同步到B,B文件夹也把自己的改动同步到A,最后A B两文件夹的内容相同,是AB文件夹的合集。 

Unison双向同步的一个缺点是,对于一个文件在两个同步文件夹中都被修改时,unison是不会去同步的,因为unison无法判断以那个为准。 

ignore = Path表示忽略指定目录,即同步时不同步它。 

batch = true,表示全自动模式,接受缺省动作,并执行。 

-fastcheck true 表示同步时仅通过文件的创建时间来比较,如果选项为false,Unison则将比较两地文件的内容。 

log = true 表示在终端输出运行信息。 

logfile 指定输出的log文件。

另外,Unison有很多参数,这里仅介绍常用的几个,详细的请参看Unison手册。 

-auto //接受缺省的动作,然后等待用户确认是否执行。 

-batch //batch mode, 全自动模式,接受缺省动作,并执行。 

-ignore xxx //增加 xxx 到忽略列表中 

-ignorecase [true|false|default] //是否忽略文件名大小写 

-follow xxx //是否支持对符号连接指向内容的同步 

owner = true //保持同步过来的文件属主 

group = true //保持同步过来的文件组信息 

perms = -1 //保持同步过来的文件读写权限 

repeat = 1 //间隔1秒后,开始新的一次同步检查 

retry = 3 //失败重试 

sshargs = -C //使用ssh的压缩传输方式 

xferbycopying = true” 

-immutable xxx //不变目录,扫描时可以忽略 

-silent //安静模式 

-times //同步修改时间 

-path xxx 参数 //只同步 -path 参数指定的子目录以及文件,而非整个目录,-path 可以多次出现。

PS:Windows下的unison配置文件默认位于C:\Documents and Settings\currentuser.unison目录,默认的配置文件名是default.prf。

五、测试 

在应用服务器vm1、vm2的 /home/oa/tomcat7/webapps/OA/目录中 新建一个文件 

[oa@vm1 OA]# touch app1.txt 

[oa@vm1 OA]# touch app2.txt

在vm1上执行unison 

[oa@vm1 OA]# unison

在vm1与vm2上查看文件是否同步 

[oa@vm1 ~]$ cd ./tomcat7/webapps/OA 

[oa@vm1 OA]$ ls 

app1.txt app2.txt 

[oa@vm2 ~]\$ cd ./tomcat7/webapps/OA 

[oa@vm2 OA]\$ ls 

app1.txt app2.txt

均看到了“app1.txt app2.txtt”所有文件,说明文件同步已经成功!

注意:第一次SSH连接的时候可能需要输入一次密码,之后就不需要输入了。

六、定期或实时执行同步 

如果想要定期执行,则通过crontab计划任务来实现,例如通过以下方式设置每5分钟执行一次 

[root@vm1 ~]# su - oa 

[oa@vm1 ~]$ crontab -e 
/5 * * * /usr/local/bin/unison 

使计划任务生效 需要重启 crond服务 

[root@vm1 ~]# service crond restart

本帮助文档改编自http://hx100.blog.51cto.com/44326/612301/

unison这个工具很好用,只要把同步机制及目录设置好,只要在64、65中两台服务器的任意一台服务器执行定时同步任务,就能对文件进行双向同步。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: