数据同步方案(附Java源码)
2015-04-27 20:37
615 查看
一.问题背景
经常碰到要同步数据的情况,而系统自带的复制功能又不能实现增量同步,每次都要做全量复制,发生异常情况后只能重头再来,非常麻烦,优其是对那种大文件的处理,更是耗时。
二.解決方案
1.计算源目录数据指纹
2.计算目标目录数据指纹
3.对比指纹数据,找出差异项,得到需要添加,删除或更新的文件列表,计算出需要更新的数据大小
4.挨个同步差异项,如果碰到大文件,则缓存其指纹数据到目标文件夹中,供下次同步数据时使用
三.数据指纹说明
数据指纹顾名思义,就是对某一文件夹或文件的唯一标识,其格式为:
文件相对路径+:(分隔符)+修改日期+:+数据长度+:+內容指纹
內容指纹是由多个内容块的md5组成
内容块就是对大文件进行分割处理,每次比较数据,最小的同步对象就是內容块,避免对整个文件做处理,也是实现增量同步的关健点
四.源码下载
源码:https://github.com/xxonehjh/file-sync
可执行文件:fileSync.jar
使用说明:java -jar fileSync.jar 源目录 目标目录
经常碰到要同步数据的情况,而系统自带的复制功能又不能实现增量同步,每次都要做全量复制,发生异常情况后只能重头再来,非常麻烦,优其是对那种大文件的处理,更是耗时。
二.解決方案
1.计算源目录数据指纹
2.计算目标目录数据指纹
3.对比指纹数据,找出差异项,得到需要添加,删除或更新的文件列表,计算出需要更新的数据大小
4.挨个同步差异项,如果碰到大文件,则缓存其指纹数据到目标文件夹中,供下次同步数据时使用
三.数据指纹说明
数据指纹顾名思义,就是对某一文件夹或文件的唯一标识,其格式为:
文件相对路径+:(分隔符)+修改日期+:+数据长度+:+內容指纹
內容指纹是由多个内容块的md5组成
内容块就是对大文件进行分割处理,每次比较数据,最小的同步对象就是內容块,避免对整个文件做处理,也是实现增量同步的关健点
四.源码下载
源码:https://github.com/xxonehjh/file-sync
可执行文件:fileSync.jar
使用说明:java -jar fileSync.jar 源目录 目标目录
相关文章推荐
- 数据同步方案(附Java源码)
- 同步访问共享数据【Effective java第10章】
- Java多线程学习---------超详细总结(java 多线程 同步 数据传递 )
- Java线程:线程的同步与锁 一、同步问题提出 线程的同步是为了防止多个线程访问一个数据对象时,对数据造成的破坏。 例如:两个线程ThreadA、ThreadB都操作同一个对象Foo对
- Java并发学习之十五——使用读写锁同步数据訪问
- Java源码——读取顺序存取文件中的数据(read text file and display each record)
- HBase数据同步到ElasticSearch的方案
- 运维日志 数据备份同步的几个方案
- 一种client同步server数据的方案
- 大文件拆分方案的java实践(附源码)
- 黑马程序员_Java基础:实现多线程对共有数据的同步操作
- 离线应用——业务数据同步方案探讨
- Java 螺纹第三版 第三章数据同步 读书笔记
- java线程研究---(7)Thread同步:多线程数据共用会产生问题
- [Java][activiti]同步或者重构activiti identify用户数据的方法
- Oracle数据库数据同步方案
- Java如何处理多线程的数据同步问题
- duBand源码分析-数据自动同步部分
- 前端web服务器数据同步方案
- 前端web服务器数据同步方案