企业数据平台仓库架构建设思路
2016-07-21 21:49
781 查看
1.仓库建设原则
(1)自上而下+自下而上。
(2)高容错性
(3)数据质量监控贯穿整个数据流程
(3)不怕数据冗余,利用存储换易用
总体思路-》模型设计-》数据架构=》数据治理
维度建模OR实体关系建模
减少层次结构的目的是为了压缩整体数据处理流程的长度,扁平化的数据处理流程有助于数据质量控制和数据运维。
当前的数据应用方向会起来越关注数据的时效性,越实时的数据越有价值。
需求驱动。
结构化数据采集:
(1)全量采集(2)增量采集(3)实时采集
非结构数据特征提取:
(1)语音转文本(2)图片处理(3)自然语言处理(4)图片打标(5)视频识别
数据服务化:
(1)统计服务(2)分析服务(3)标签服务
实用的点:
(1)巧用虚拟节点(2)强制分区(3)计算框架应用(4)优化关键路径
数据不再是一个边缘性的东西,数据的质量越来越重要。
合理的数据生命周期要保证温热数据占整个数据体系大部分。
(1)自上而下+自下而上。
(2)高容错性
(3)数据质量监控贯穿整个数据流程
(3)不怕数据冗余,利用存储换易用
总体思路-》模型设计-》数据架构=》数据治理
维度建模OR实体关系建模
减少层次结构的目的是为了压缩整体数据处理流程的长度,扁平化的数据处理流程有助于数据质量控制和数据运维。
当前的数据应用方向会起来越关注数据的时效性,越实时的数据越有价值。
需求驱动。
结构化数据采集:
(1)全量采集(2)增量采集(3)实时采集
非结构数据特征提取:
(1)语音转文本(2)图片处理(3)自然语言处理(4)图片打标(5)视频识别
数据服务化:
(1)统计服务(2)分析服务(3)标签服务
实用的点:
(1)巧用虚拟节点(2)强制分区(3)计算框架应用(4)优化关键路径
数据不再是一个边缘性的东西,数据的质量越来越重要。
合理的数据生命周期要保证温热数据占整个数据体系大部分。
相关文章推荐
- 网站中图片的相对路径与绝对路径
- 理解逐次逼近寄存器型ADC:与其它类型ADC的架构对比【转】
- .NET基础架构方法—DataTableToExcel通用方法
- 网站隐藏文件夹
- 模块化开发一个电子商务网站
- ServletContext与网站计数器
- Android 源码浏览网站
- 如何在网站中加入百度统计
- 推荐几个好玩又有难度的编程网站
- 每个架构师都应该研究下康威定律
- 安卓入门之安卓系统架构
- 项目实战--svn讲解
- Android MVP架构分析
- 第五讲:虚拟化架构、特点及优势
- LVS高可用集群
- LAMP动态网站安装脚本
- robots.txt 不让搜索引擎收录网站的方法
- 自动化测试架构设计
- 分享抓取网站静态资源的工具
- 125个优化网站可用性的小点子(下)