python+rsync精确同步指定格式文件
2019-08-29 10:34
1016 查看
本文实例为大家分享了python+rsync精确同步指定格式文件的具体代码,供大家参考,具体内容如下
# coding: utf-8 #!/usr/bin/env python ''' updatedb更新本地服务器指定目录/home/upload/de locate.dbz数据库 然后locate命令正则查找符合条件的文件并将文件名输出到locate.src 通过paramiko模块得到远程服务器符合条件的文件并将文件名输出到locate.dst 比较这两个文件得到locate.diff,最好rsync命令同步locate.diff列表中的文件 到远程服务器 ''' import paramiko import commands import os import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%Y-%m-%d %H:%M:%S', filename='/var/log/upload_to_chengdu.log', filemode='a') logging.info("###################################################################") hostname = '8.8.8.8' username = 'username' password = 'password' port = 22 locate_lists = ['/tmp/locate.src', '/tmp/locate.dst', '/tmp/locate.diff'] dict_path = {'locate_lists': locate_lists, 'dst_db': '/tmp/locate.db', 'src_db': '/tmp/locate.db', 'dst_path': '/logs/rsync_log/', 'src_path': '/home/upload/', 'passwd_file': '/etc/rsync.pas'} def check_file(): for l in dict_path['locate_lists']: if os.path.exists(l): commands.getstatusoutput('sudo rm %s' % l) def get_dst_list(): s = paramiko.SSHClient() s.set_missing_host_key_policy(paramiko.AutoAddPolicy()) s.connect(hostname=hostname, port=port, username=username, password=password) cmd_create = "sudo updatedb -U %s -o %s && sudo locate -d %s --regex '.*[0-9]{4}([-]{0,1}[0-9]{2}){2}\..*gz$' >>%s" % ( dict_path['dst_path'], dict_path['dst_db'], dict_path['dst_db'], dict_path['locate_lists'][1]) cmd_delete = 'sudo rm ' + dict_path['locate_lists'][1] stdin, stdout, stderr = s.exec_command(cmd_create) # print stdout.read() try: t = paramiko.Transport((hostname, port)) t.connect(username=username, password=password) sftp = paramiko.SFTPClient.from_transport(t) sftp.get(dict_path['locate_lists'][1], dict_path['locate_lists'][1]) t.close() except Exception, e: print e stdin, stdout, stderr = s.exec_command(cmd_delete) s.close() def get_src_list(): cmd = "sudo updatedb -U %s -o %s && sudo locate -d %s --regex '.*[0-9]{4}([-]{0,1}[0-9]{2}){2}\..*gz$' >>%s" % ( dict_path['src_path'], dict_path['src_db'], dict_path['src_db'], dict_path['locate_lists'][0]) commands.getstatusoutput(cmd) def cmp_diff(): f1 = open(dict_path['locate_lists'][0], 'r') f2 = open(dict_path['locate_lists'][1], 'r') f3 = open(dict_path['locate_lists'][2], 'a') x = f1.readlines() y = f2.readlines() f1.close() f2.close() for i in x: j = dict_path['dst_path'] + i[13:] if j not in y: f3.writelines(i) f3.close() def rsync_file(): f = open(dict_path['locate_lists'][2], 'r') for i in f.readlines(): cmd = 'cd %s && sudo rsync -Rvz %s upload@%s::aliyun_log --password-file=%s' % ( dict_path['src_path'], i.strip('\n')[13:], hostname, dict_path['passwd_file']) logging.info(cmd) commands.getstatusoutput(cmd) f.close() def del_locate_file(): cmd = 'sudo rm {%s,%s,%s}' % (dict_path['locate_lists'][1], dict_path['locate_lists'][0], dict_path['locate_lists'][2]) commands.getstatusoutput(cmd) if __name__ == '__main__': check_file() get_dst_list() get_src_list() cmp_diff() rsync_file() del_locate_file()
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- python+rsync精确同步指定格式文件
- python+rsync精确同步指定格式文件
- centos7 图文详解精确同步企业实战 rsync include 同步指定文件exclude排除文件
- python处理文本文件实现生成指定格式文件的方法
- python脚本从excel表到处数据,生成指定格式的文件
- python处理文本文件并生成指定格式的文件
- 用python查找指定格式或名称的文件及修改指定文件夹名称
- python指定写入文件时的编码格式
- 一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本
- rsync远程同步指定文件
- python指定写入文件时的编码格式方法
- python指定文件编码格式
- Python write 写文件编码格式指定为utf-8
- python处理文本文件实现生成指定格式文件的方法
- rsync只同步指定的文件类型排除所有
- python遍历文件夹获取指定格式的文件
- rsync同步时排除指定文件或文件夹
- python 删除目录所有文件夹下指定文件名和格式的文件
- python 脚本(获取指定文件夹、指定文件格式、的代码行数、注释行数)
- 【python基础知识】写入文件指定编码格式,例如utf-8