源表含时间戳、做逻辑删除的情况，数据同步ETL方案分享
2016-03-24 22:56
525 查看
要求至少半小时会同步一次数据。
下面是我的方案图。
我觉得比较鸡肋的是，我的stage库表里每次存的只是本轮同步中新增的数据，若本轮没有任何新增的数据，那么stage对应的表就是空的。
其实一开始我很想设计出一个source表的副本库，存的是一模一样的数据。但是想到这个副本库可能要经历全删全增，频繁的短时间的读写会带来整体的性能下降，我就放弃了。
还想把stage库作为2次开发库，通过它能整合出新数据，但想得太天真了。欢迎讨论、请求指导教育~
下面是我的方案图。
我觉得比较鸡肋的是，我的stage库表里每次存的只是本轮同步中新增的数据，若本轮没有任何新增的数据，那么stage对应的表就是空的。
其实一开始我很想设计出一个source表的副本库，存的是一模一样的数据。但是想到这个副本库可能要经历全删全增，频繁的短时间的读写会带来整体的性能下降，我就放弃了。
还想把stage库作为2次开发库，通过它能整合出新数据，但想得太天真了。欢迎讨论、请求指导教育~
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐