数据同步方案(附Java源码)
2017-05-05 16:43
176 查看
一.问题背景
经常碰到要同步数据的情况,而系统自带的复制功能又不能实现增量同步,每次都要做全量复制,发生异常情况后只能重头再来,非常麻烦,优其是对那种大文件的处理,更是耗时。
二.解決方案
1.计算源目录数据指纹
2.计算目标目录数据指纹
3.对比指纹数据,找出差异项,得到需要添加,删除或更新的文件列表,计算出需要更新的数据大小
4.挨个同步差异项,如果碰到大文件,则缓存其指纹数据到目标文件夹中,供下次同步数据时使用
三.数据指纹说明
数据指纹顾名思义,就是对某一文件夹或文件的唯一标识,其格式为:
文件相对路径+:(分隔符)+修改日期+:+数据长度+:+內容指纹
內容指纹是由多个内容块的md5组成
内容块就是对大文件进行分割处理,每次比较数据,最小的同步对象就是內容块,避免对整个文件做处理,也是实现增量同步的关健点
四.源码下载
源码:https://github.com/xxonehjh/file-sync
可执行文件:fileSync.jar
使用说明:java -jar fileSync.jar 源目录 目标目录
一.问题背景
经常碰到要同步数据的情况,而系统自带的复制功能又不能实现增量同步,每次都要做全量复制,发生异常情况后只能重头再来,非常麻烦,优其是对那种大文件的处理,更是耗时。
二.解決方案
1.计算源目录数据指纹
2.计算目标目录数据指纹
3.对比指纹数据,找出差异项,得到需要添加,删除或更新的文件列表,计算出需要更新的数据大小
4.挨个同步差异项,如果碰到大文件,则缓存其指纹数据到目标文件夹中,供下次同步数据时使用
三.数据指纹说明
数据指纹顾名思义,就是对某一文件夹或文件的唯一标识,其格式为:
文件相对路径+:(分隔符)+修改日期+:+数据长度+:+內容指纹
內容指纹是由多个内容块的md5组成
内容块就是对大文件进行分割处理,每次比较数据,最小的同步对象就是內容块,避免对整个文件做处理,也是实现增量同步的关健点
四.源码下载
源码:https://github.com/xxonehjh/file-sync
可执行文件:fileSync.jar
使用说明:java -jar fileSync.jar 源目录 目标目录
相关文章推荐
- 数据同步方案(附Java源码)
- OracleDataguard数据同步复制的容灾技术方案
- 关于异地数据同步的方案
- java实现高性能的数据同步
- Java 同步机制浅谈(转贴) http://www.yuanma.org/data/2007/0523/article_2619.htm 中国源码网
- java多线程数据同步
- Windows Mobile数据同步项目方案
- Java线程同步锁解决共享数据安全
- JAVA解决大批量导出数据到excel产生内存溢出的方案
- 离线数据同步技术方案书
- Java线程同步锁解决共享数据安全
- 我看windows mobile数据同步方案
- ISCSI+单机同步软件构成局域网数据备份方案
- ISCSI+单机同步软件构成局域网数据备份方案
- Android应用程序的Java数据更新和UI同步改变
- DELPHI与Java Web读取TABLE数据最简捷的方案:TkbmMemTable+java数据Format器
- OracleDataguard数据同步复制的容灾技术方案
- Java多线程初学者指南(9):为什么要进行数据同步
- TT数据到MYSQL的同步方案
- Java线程同步锁解决共享数据安全