Linux:RSync实现文件备份同步图解及代码
2017-01-19 11:27
736 查看
目录:
1、需求
2、图解
3、代码
备注:参考RSync命令http://blog.csdn.net/silentwolfyh/article/details/54613941
———————————————————————————————–
1、需求:
将Nginx文件从采集服务器同步到CDH服务器,最后放入Flume监控目录2、图解
3、代码
[root@xiaohui nginx_log]# cat get_file_test.sh cd /home/nginx_log cd data/ #本地同步之前文件名称 ls *_2017*.tar.gz | sort > ../L.txt cd - echo '' > rsync_result.log #远程服务器数据和本地服务器数据对比,差异的文件名称放入rsync_result.log rsync -av --exclude="*2016*.tar.gz" --exclude="*.MD5" 192.168.1.1::donews_nginx_log data/ > rsync_result.log #判断同步是否结束,出现total为同步完成 res=`cat ./rsync_result.log|grep total|wc -l` while [ $res -le 0 ];do sleep 5s res=`cat ./rsync_result.log|grep total|wc -l` done cd data/ #本地同步之后文件名称 ls *_2017*.tar.gz | sort > ../R.txt cd - #最新同步之后的文件名称对比,差异的文件名称放入D.txt diff ./L.txt ./R.txt |grep "tar.gz"| awk '{print $NF}' > ./D.txt #循环解压文件,将域名加入文件开头 for f in `cat ./D.txt` do nf=${f::-7} tar -zxvf ./data/$f -C ./unzip_dir/ replace_name=`echo $f |awk -F"_" '{print $1}'` sed -i "s/^/$replace_name &/g" ./unzip_dir/$nf done #将解压之后的文件移至Flume检测目录 for d in `cat ./D.txt` do nf=${d::-7} mv ./unzip_dir/$nf /home/flumeSpool done
如果您喜欢我写的博文,读后觉得收获很大,不妨小额赞助我一下,让我有动力继续写出高质量的博文,感谢您的赞赏!!!
相关文章推荐
- linux中部署rsync实现文件远程备份及同步
- linux中部署rsync实现文件远程备份及同步(centos x64 6.8)
- Linux下简单粗暴使用rsync实现文件同步备份【转】
- 实现Linux双机文件同步rsync
- CentOS 6.3_ RSync实现文件定时备份同步配置与使用 推荐
- RSync实现文件备份同步
- rsync从linux到linux的文件同步备份
- rsync从linux到linux的文件同步备份
- [转]inotify + rsync实现linux文件实时同步
- Inotify+Rsync实现linux文件实时同步
- RSync实现文件备份同步
- inotify + rsync实现linux文件实时同步
- inotify + rsync实现linux文件实时同步,使用触发同步机制
- RSync实现文件备份同步
- Linux下利用rsync实现多服务器文件同步
- Inotify+Rsync实现linux文件实时同步
- 用rsync实现windows与linux文件同步的方法
- inotify + rsync实现linux文件实时同步
- CentOS 6.3_ RSync实现文件备份同步配置排除故障
- rsync实现windows与Linux同步文件