rsync远程同步(理论+实践篇)
2019-12-24 23:58
1271 查看
关于rsync
一款快速增量备份工具
- Remote Sync,远程同步
- 支持本地复制,或者与其他SsH、rsync 主机同步
- 官方网站: http://rsync.samba.org
配置rsync源服务器
rsync同步源
- 指备份操作的远程服务器,也称为备份源
配置rsync源
- 基本思路 建立rsyncd.conf配置文件、独立的账号文件
- 启用rsync的-daemon模式
-
用户backuper, 允许下行同步
-
需手动建立,语法类似于Samba配置
-
采用"用户名:密码”的记录格式,每行一个用户记录
-
通过--daemon独自提供服务
使用rsync备份工具
rsync命令用法
rsync [选项] 原始位置 目标位置
- 常用选项 -a:归档模式,递归并保留对象属性,等同于-rlptgoD
- -v:示同步过程的详细(verbose)信息
- -z:在传输文件时进行压缩(compress)
- -H:保留硬连接文件
- -A:保留ACL属性信息
- --delete:删除目标位置有而原始位置没有的文件
- --checksum:根据对象的校验和来决定是否跳过文件
-
格式1: 用户名@主机地址::共享模块名
rsync实时同步
定期同步的不足
- 执行备份的时间固定,延迟明显、实时性差
- 当同步源长期不变化时,密集的定期任务是不必要的
实时同步的优点
- 一旦同步源出现变化,立即启动备份
- 只要同步源无变化,则不执行备份
关于inotify
Linux内核的inotify机制
- 从版本2.6.144开始提供
- 可以监控文件系统的变动情况,并作出通知响应
- 辅助软件: inotify-tools
rsync+inotify实时同步
- 调整inotify内核参数 max_queue_events: 监控队列大小
- max_user_instances: 最多监控实例数
- max_user_watches:每个实例最多监控文件数,配置时应大于监控目标的总文件数
-
inotifywait:用于持续监控,实时输出结果
-
使用while、read持续获取监控结果
实践配置
实验环境
- rsyncd服务器IP地址:192.168.144.128
- client客户端IP地址:192.168.144.129
在rsyncd服务器上修改配置文件
[root@rsyncd ~]# rpm -q rsync rsync-3.0.9-18.el7.x86_64 [root@rsyncd ~]# vim /etc/rsyncd.conf uid = nobody //匿名用户 gid = nobody use chroot = yes //禁锢家目录 pid file = /var/run/rsyncd.pid //pid文件路径 address = 192.168.144.128 //配置监听地址 port = 873 //端口号 log file = /var/log/rsyncd.log //日志文件路径 hosts allow = 192.168.144.0/24 //允许地址段访问 dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 //不需要压缩的类型 [wwwroot] //共享模块名 path = /var/www/html //共享文件路径 comment = www.kgc.com //定义名称 read only = yes //只读权限 auth users = backuper //身份验证用户名 secrets file = /etc/rsyncd_users.db //密码文件 :wq [root@rsyncd ~]# vim /etc/rsyncd_users.db //创建密码文件 backuper:123123 //编辑用户名:密码 :wq [root@rsyncd ~]# chmod 600 /etc/rsyncd_users.db //更改权限 [root@rsyncd ~]# rsync --daemon //开启rsync服务 [root@rsyncd ~]# netstat -ntap | grep rsync //查看端口 tcp 0 0 192.168.144.128:873 0.0.0.0:* LISTEN 36346/rsync [root@rsyncd ~]# systemctl stop firewalld.service //关闭防火墙 [root@rsyncd ~]# setenforce 0 [root@rsyncd ~]# yum install httpd -y //安装httpd服务 [root@rsyncd ~]# cd /var/www/html/ [root@rsyncd html]# echo "this is test web" > index.html //编辑网页信息 [root@rsyncd html]# cd ../ [root@rsyncd www]# chmod 777 html/ //放开目录权限,方便用户操作
在客户端服务器上,拉取同步源rsyncd
[root@client ~]# systemctl stop firewalld.service //关闭防火墙 [root@client ~]# setenforce 0 //关闭selinux [root@client ~]# rpm -q rsync //检查是否安装rsync服务 rsync-3.0.9-18.el7.x86_64 [root@client ~]# yum install httpd -y //安装httpd服务 [root@client ~]# cd /var/www/ [root@client www]# chmod 777 html/ //放开目录权限 [root@client www]# rsync -avz backuper@192.168.144.128::wwwroot /var/www/html //拉取共享模块 Password: //输入密码 [root@client www]# cat html/index.html //查看是否同步信息 this is test web [root@client www]# rm -rf html/index.html [root@client www]# vim /etc/server.pass //创建本地的密码文件 123123 [root@client www]# chmod 600 /etc/server.pass //更改权限 [root@client www]# rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.144.128::wwwroot /var/www/html/ //指定本地密码文件,删除目标位置有而原始位置没有的文件,实现免交互
在client客户端上安装inotify(监控)
[root@client www]# vim /etc/sysctl.conf //修改内核参数文件 fs.inotify.max_queued_events = 16384 //队列 fs.inotify.max_user_instances = 1024 //每个队列中的实例数 fs.inotify.max_user_watches = 1048576 //每个实例中的文件数 [root@client www]# sysctl -p ##加载 [root@client www]# mount.cifs //192.168.100.8/LNMP-C7 /mnt/ //挂载 Password for root@//192.168.100.3/LNMP-C7: [root@client www]# cd /mnt/ [root@client mnt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt/ //解压inotify到/opt下 [root@client mnt]# cd /opt/ [root@client opt]# cd inotify-tools-3.14/ [root@client inotify-tools-3.14]# yum install gcc gcc-c++ make -y //安装环境 [root@client inotify-tools-3.14]# ./configure //配置 [root@client inotify-tools-3.14]# make && make install //编译安装 [root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html/ //启动监控
重新开启一个客户机的终端
[root@client ~]# cd /var/www/html/ [root@client html]# touch abc [root@client html]# rm -rf abc
回到开启监控的终端查看
/var/www/html/ CREATE abc /var/www/html/ DELETE abc //显示监控信息
在client客户机创建脚本,通过inotifywait触发rsync同步操作脚本
[root@client inotify-tools-3.14]# cd /opt/ [root@client opt]# vim inotify.sh #!/bin/bash INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /var/www/html/" RSYNC_CMD="rsync -avz --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.144.128::wwwroot/" $INOTIFY_CMD | while read DIRECTORY EVENT FILE do if [ $(pgrep rsync | wc -l) -le 0 ]; then $RSYNC_CMD fi done [root@client opt]# chmod +x inotify.sh //添加执行权限
在rsyncd服务器上修改配置文件
[root@rsyncd www]# vim /etc/rsyncd.conf read only = no //关闭只读权限 [root@rsyncd www]# netstat -natp | grep rsync tcp 0 0 192.168.144.128:873 0.0.0.0:* LISTEN 36346/rsync [root@rsyncd www]# kill -9 36346 //关闭服务 [root@rsyncd www]# netstat -natp | grep rsync [root@rsyncd www]# rm -rf /var/run/rsyncd.pid //删除pid文件 [root@rsyncd www]# rsync --daemon //重新开启rsync服务
在client客户机上执行inotify脚本文件
[root@client opt]# ./inotify.sh
重新开启一个client客户机终端
[root@client html]# echo "this is test" > test.txt //添加文本
查看开启监控服务终端信息
[root@client opt]# ./inotify.sh sending incremental file list ./ rsync: failed to set times on "/." (in wwwroot): Operation not permitted (1) test.txt sent 121 bytes received 30 bytes 302.00 bytes/sec total size is 30 speedup is 0.20 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1052) [sender=3.0.9] sending incremental file list sent 66 bytes received 8 bytes 148.00 bytes/sec total size is 30 speedup is 0.41
在rsync服务器上查看
[root@rsyncd www]# cd html/ [root@rsyncd html]# ls index.html test.txt //实现同步
相关文章推荐
- rsync+inotify配置触发式(实时)远程同步
- 使用rsync+inotify配置触发式(实时)远程同步
- rsync远程同步
- linux 远程同步数据工具rsync (2)
- rsync远程同步+inotify-tools自动检测笔记
- rsync远程同步
- linux中部署rsync实现文件远程备份及同步
- 通过rsync实现远程同步
- rsync远程文件同步
- 使用rsync+inotify配置触发式(实时)远程同步
- CentOS平台实现搭建rsync远程同步服务器的方法
- rsync远程同步备份工具
- Cent OS 5.4 rsync+inotify配置触发式(实时)远程同步
- centos搭建rsync远程同步服务器
- RSync 远程同步工具的使用
- rsync远程同步
- 配置rsync远程数据同步服务详解
- rsync over ssh同步本地文件到远程
- rsync远程同步——配置rsync源服务器
- Linux下同步工具inotify+rsync使用详解【理论篇】