rsync与inotify构成的实时文件同步系统
2012-06-12 18:52
309 查看
Rsync+Inotify所构成的系统,对于没有共享存储的童鞋们来说,无疑是一大优势。
所需软件:rsync http://pkgs.repoforge.org/rsync/
inotify http://jaist.dl.sourceforge.net/ ... y-tools-3.13.tar.gz
环境:
服务器端(代码更新服务器):192.168.10.15
客户端(web服务器):192.168.10.16 192.168.10.17 192.168.10.18
WEB目录:/data/httpd/wwwroot/
原理:
由192.168.10.15上inotify服务监测文件是否有更新,如果有更新(修改,删除,新建)inotify就会通过rsync命令将更新的文件推向三台web服务器
安装:
更新源服务器(192.168.10.15)需安装rsync+inotify即可;剩余三台WEB仅安装rsync即可。
# tar zxvf rsync-3.0.6pre1.tar.gz
# cd rsync-3.0.6pre1
# ./configure --prefix=/usr/local/rsync && make && make install
# tar zxvf inotify-tools-3.13.tar.gz
# cd inotify-tools-3.13
# ./configure --prefix=/usr/local/inotify && make && make install
配置:
更新源服务器:
1、设置脚本
#mkdir /root/bin
#cd /root/bin
#vim rsync.sh
#!/bin/bash
src=/data/httpd/wwwroot/
des=www
host="192.168.10.16 192.168.10.17 192.168.10.18"
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib $src | while read files
do
for hostip in $host
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets $src root@$hostip::$des
done
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
#mkdir -p /data/httpd/wwwroot #创建web目录
#chmod +x rsync.sh
启动:nohup sh rsync.sh
2、创建rsync认证文件
#vim /etc/rsyncd.secrets
123456
三台WEB服务器的配置:
#mkdir -p /data/httpd/wwwroot #创建web目录
#vim /etc/rsyncd.conf #配置文件
uid = root
gid = root
use chroot = no
max connections = 5
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path=/data/httpd/wwwroot/
comment = update
ignore errors
read only = no
list = no
hosts allow = 192.168.10.0/255.255.255.0
auth users = root
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
#vim /etc/rsyncd.secrets #创建rsync证文件
123456
root:123456
#chmod 0600 /etc/rsyncd.secrets #设置权限
#rsync --daemon #启动服务
测试:
在源服务器/data/www/wwwroot/新建文件abc,三台WEB服务器即时更新过去了。。
rsync和inotify的说明:
脚本相关注解:
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件~
-e create,move,delete,modify
监听 创建 移动 删除 写入 事件
rsync -aHqzt $SRC $DST
-a 存档模式
-H 保存硬连接
-q 制止非错误信息
-z 压缩文件数据在传输
-t 维护修改时间
-delete 删除于多余文件
当要排出同步某个目录时,为rsync添加--exculde=PATTERN参数,注意,路径是相对路径。详细查看man rsync
当要排除都某个目录的事件监控的处理时,为inotifywait添加--exclude或--excludei参数。详细查看man inotifywait
另:
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
-e modify,delete,create,attrib \
${src} \
上面的命令返回的值类似于:
10/03/09 15:31 /wwwpic/1
这3个返回值做为参数传给read,关于此处,有人是这样写的:
inotifywait -mrq -e create,move,delete,modify $SRC | while read D E F;do
细化了返回值。
说明: 当文件系统发现指定目录下有如上的条件的时候就触发相应的指令,是一种主动告之的而非我用循环比较目录下的文件的异动,该程序
在运行时,更改目录内的文件时系统内核会发送一个信号,这个信号会触发运行rsync命令,这时会同步源目录和目标目录。
--timefmt:指定输出时的输出格式
--format: '%T %w%f'指定输出的格式
二.关于inotify介绍
Inotify 是文件系统事件监控机制,作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的
、异步的机制,它满足各种各样的文件监控需要,不仅限于安全和性能。
inotify 可以监视的文件系统事件包括:
IN_ACCESS,即文件被访问
IN_MODIFY,文件被 write
IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可写文件被 close
IN_CLOSE_NOWRITE,不可写文件被 close
IN_OPEN,文件被 open
IN_MOVED_FROM,文件被移走,如 mv
IN_MOVED_TO,文件被移来,如 mv、cp
IN_CREATE,创建新文件
IN_DELETE,文件被删除,如 rm
IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己
IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己
IN_UNMOUNT,宿主文件系统被 umount
IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所说的文件也包括目录。
root:123456
#chmod u+x /etc/rsyncd.secrets
3、启动
#nohup sh /root/bin/rsync.sh &
所需软件:rsync http://pkgs.repoforge.org/rsync/
inotify http://jaist.dl.sourceforge.net/ ... y-tools-3.13.tar.gz
环境:
服务器端(代码更新服务器):192.168.10.15
客户端(web服务器):192.168.10.16 192.168.10.17 192.168.10.18
WEB目录:/data/httpd/wwwroot/
原理:
由192.168.10.15上inotify服务监测文件是否有更新,如果有更新(修改,删除,新建)inotify就会通过rsync命令将更新的文件推向三台web服务器
安装:
更新源服务器(192.168.10.15)需安装rsync+inotify即可;剩余三台WEB仅安装rsync即可。
# tar zxvf rsync-3.0.6pre1.tar.gz
# cd rsync-3.0.6pre1
# ./configure --prefix=/usr/local/rsync && make && make install
# tar zxvf inotify-tools-3.13.tar.gz
# cd inotify-tools-3.13
# ./configure --prefix=/usr/local/inotify && make && make install
配置:
更新源服务器:
1、设置脚本
#mkdir /root/bin
#cd /root/bin
#vim rsync.sh
#!/bin/bash
src=/data/httpd/wwwroot/
des=www
host="192.168.10.16 192.168.10.17 192.168.10.18"
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib $src | while read files
do
for hostip in $host
do
rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets $src root@$hostip::$des
done
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
#mkdir -p /data/httpd/wwwroot #创建web目录
#chmod +x rsync.sh
启动:nohup sh rsync.sh
2、创建rsync认证文件
#vim /etc/rsyncd.secrets
123456
三台WEB服务器的配置:
#mkdir -p /data/httpd/wwwroot #创建web目录
#vim /etc/rsyncd.conf #配置文件
uid = root
gid = root
use chroot = no
max connections = 5
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[www]
path=/data/httpd/wwwroot/
comment = update
ignore errors
read only = no
list = no
hosts allow = 192.168.10.0/255.255.255.0
auth users = root
uid = root
gid = root
secrets file = /etc/rsyncd.secrets
#vim /etc/rsyncd.secrets #创建rsync证文件
123456
root:123456
#chmod 0600 /etc/rsyncd.secrets #设置权限
#rsync --daemon #启动服务
测试:
在源服务器/data/www/wwwroot/新建文件abc,三台WEB服务器即时更新过去了。。
rsync和inotify的说明:
脚本相关注解:
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件~
-e create,move,delete,modify
监听 创建 移动 删除 写入 事件
rsync -aHqzt $SRC $DST
-a 存档模式
-H 保存硬连接
-q 制止非错误信息
-z 压缩文件数据在传输
-t 维护修改时间
-delete 删除于多余文件
当要排出同步某个目录时,为rsync添加--exculde=PATTERN参数,注意,路径是相对路径。详细查看man rsync
当要排除都某个目录的事件监控的处理时,为inotifywait添加--exclude或--excludei参数。详细查看man inotifywait
另:
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
-e modify,delete,create,attrib \
${src} \
上面的命令返回的值类似于:
10/03/09 15:31 /wwwpic/1
这3个返回值做为参数传给read,关于此处,有人是这样写的:
inotifywait -mrq -e create,move,delete,modify $SRC | while read D E F;do
细化了返回值。
说明: 当文件系统发现指定目录下有如上的条件的时候就触发相应的指令,是一种主动告之的而非我用循环比较目录下的文件的异动,该程序
在运行时,更改目录内的文件时系统内核会发送一个信号,这个信号会触发运行rsync命令,这时会同步源目录和目标目录。
--timefmt:指定输出时的输出格式
--format: '%T %w%f'指定输出的格式
二.关于inotify介绍
Inotify 是文件系统事件监控机制,作为 dnotify 的有效替代。dnotify 是较早内核支持的文件监控机制。Inotify 是一种强大的、细粒度的
、异步的机制,它满足各种各样的文件监控需要,不仅限于安全和性能。
inotify 可以监视的文件系统事件包括:
IN_ACCESS,即文件被访问
IN_MODIFY,文件被 write
IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可写文件被 close
IN_CLOSE_NOWRITE,不可写文件被 close
IN_OPEN,文件被 open
IN_MOVED_FROM,文件被移走,如 mv
IN_MOVED_TO,文件被移来,如 mv、cp
IN_CREATE,创建新文件
IN_DELETE,文件被删除,如 rm
IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己
IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己
IN_UNMOUNT,宿主文件系统被 umount
IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所说的文件也包括目录。
root:123456
#chmod u+x /etc/rsyncd.secrets
3、启动
#nohup sh /root/bin/rsync.sh &
相关文章推荐
- linux系统中rsync+inotify实现服务器之间文件实时同步
- linux系统中rsync+inotify实现服务器之间文件实时同步
- linux系统中rsync+inotify实现服务器之间文件实时同步
- linux系统中rsync+inotify实现服务器之间文件实时同步
- inotify用法简介及结合rsync实现主机间的文件实时同步 推荐
- Centos 6.5 rsync+inotify 两台服务器文件实时同步
- Linux系统文件同步rsync+ssh+inotify+unison实现
- rsync+inotify文件实时同步
- Centos7.0系统下Rsync+sersync实现多文件数据实时增量同步 推荐
- inotify-tools + rsync 实现实时文件同步关于exclude参数处理
- rsync+inotify实现服务器之间文件实时同步
- rsync+inotify实现文件实时同步
- rsync+inotify实现文件服务器实时双向同步
- rsync+inotify搭建实时同步系统
- 利用rsync+inotify做文件实时同步
- rsync+inotify实现服务器之间文件实时同步
- linux使用rsync+inotify-tools+ssh实现文件实时同步
- inotify用法简介及结合rsync实现主机间的文件实时同步
- rsync+inotify实现服务器之间文件实时同步
- rsync+inotify实现服务器之间文件实时同步