python实现两个文件夹的同步
其实无论windows还是Linux,简单地去实现两个两个文件夹的同步只需系统自带的复制命令加参数就可以了。
WINDOWS :
xcopy 源文件夹\* 目标文件夹 /s /e /y
Linux :
cp -r 源文件夹/* 目标文件夹
这里使用python来实现这些基本功能,并增加一些去重之类的增强功能。
1、复制源文件夹中文件至目标文件夹
要想同步两个文件夹中的数据,基本思路首先需要遍历源文件夹中的信息,将源文件夹中的文件复制到目标文件夹。
遍历文件夹采用os中的listdir函数就可以了。
import os path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' for filename in os.listdir(path_s): filename_s = path_s+os.sep+filename print '[*] Source :',filename_s filename_t = path_t+os.sep+filename print '[*] Target :',filename_t with open(filename_s,'rb') as f_s: with open(filename_t,'wb') as f_t: f_t.write(f_s.read())
但是很明显这里没有考虑源文件夹中还会存在文件夹甚至多重文件夹的情况。
2、源文件夹中存在多重文件夹
一个简单的思路就是:在遍历源文件夹内的文件时,先判定当前文件这是文件还是文件夹。如果当前文件是文件夹的话,开始遍历此文件夹内的文件,如果里面还有文件夹,遍历这个文件夹,依次类推。利用递归的方法,代码如下:
import os path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' def copy_file(paths,patht): for filename in os.listdir(paths): filename_s = paths+os.sep+filename filename_t = patht+os.sep+filename if os.path.isdir(filename_s): if not os.path.exists(filename_t): os.mkdir(filename_t) #在目标文件夹中创建对应的文件夹 copy_file(filename_s,filename_t) # 递归 else: print '[*] Source :',filename_s print '[*] Target :',filename_t with open(filename_s,'rb') as f_s: with open(filename_t,'wb') as f_t: f_t.write(f_s.read()) copy_file(path_s,path_t)
目前,简单的文件夹复制功能已经实现了。
3、目标文件夹中已有文件不再复制
一个简单的方法就是在目标文件夹中复制文件之前先利用函数“os.path.exists”判定这个文件是否存在。
import os path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' def copy_file(paths,patht): for filename in os.listdir(paths): filename_s = paths+os.sep+filename filename_t = patht+os.sep+filename if os.path.isdir(filename_s): if not os.path.exists(filename_t): os.mkdir(filename_t) copy_file(filename_s,filename_t) else: if os.path.exists(filename_t): print '[*] "%s" already exists! ' % filename_t else: print '[*] Source :',filename_s print '[*] Target :',filename_t with open(filename_s,'rb') as f_s: with open(filename_t,'wb') as f_t: f_t.write(f_s.read()) copy_file(path_s,path_t)
这个办法避免了一部分已有文件的重复复制操作,减少了部分不必要的读写操作,但是却无法消除内容相同但名称、路径不同的重复文件。
4、利用MD5判定重复文件
目前判定两个文件是否相同,除了按字节逐个对比这个笨方法外,简单常用的办法就是利用MD5和CRC校验,或是按一定规律挑取文件的指定位置的数据块就行对比。
这次利用文件的MD5值,将目标文件夹中已有文件的MD5值保存到列表或字典中,每在源文件夹中读取一个文件就判定该文件的MD5值是否已经存在于MD5列表,没有的话再进行复制操作,并将该文件的MD5值写入列表。
import os import hashlib path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' list_file = {} def create_file_list(path): for name in os.listdir(path): filename = path+os.sep+name if os.path.isdir(filename): create_file_list(filename) else: with open(filename,'rb') as f: md5 = hashlib.md5(f.read()).hexdigest() if md5 not in list_file: list_file[md5] = 1 def copy_file(paths,patht): for filename in os.listdir(paths): filename_s = paths+os.sep+filename filename_t = patht+os.sep+filename if os.path.isdir(filename_s): if not os.path.exists(filename_t): os.mkdir(filename_t) copy_file(filename_s,filename_t) else: if os.path.exists(filename_t): print '[*] "%s" already exists! ' % filename_t else: with open(filename_s,'rb') as f_s: data = f_s.read() file_md5 = hashlib.md5(data).hexdigest() if file_md5 not in list_file: list_file[file_md5] = 1 print '[*] Source :',filename_s print '[*] Target :',filename_t with open(filename_t,'wb') as f_t: f_t.write(data) else: print '[*] "%s"\'s MD5 already exists! ' % filename_t create_file_list(path_t) copy_file(path_s,path_t)
如下图,运行后内容相同的几个文件,只有第一次读取到的时候才写入目标文件夹,其他路径下的文件并没有复制到目标文件夹。
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
- python--FTP两个文件夹间的同步
- Python实现比较两个文件夹中代码变化的方法
- 使用python实现两个文件夹里文件的对比(包含内容的对比)
- python 同步两个文件夹下的内容(包括子文件夹)
- 用windows公文包实现不同盘符两个文件文件夹文件同步
- python pyinotify 监控远程文件夹来实现即时全量同步
- Python FTP两个文件夹间的同步实例代码
- Python实现比较两个文件夹中代码变化的方法
- python同步两个文件夹下的内容
- LeetCode4.python实现:寻找两个有序数组中的中位数问题☆☆☆
- python3利用tcp实现文件夹远程传输
- python实现将文件夹内所有txt文件合并成一个文件
- python-实现文件夹图片到列表
- 基于Python的SQL Server数据库实现对象同步轻量级
- python372button按钮实现浏览文件夹显示一张图片,但是显示全部图片没有实现
- 用 rsync sersync两个工具实现文件备份及同步 一
- python使用循环实现批量创建文件夹示例
- python 计算两个列表的相关系数的实现
- 关于两个Richedit控件同步的实现
- 两个div滚动条同步简单实现