胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式
2014-02-14 12:13
183 查看
一、楔子
胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还是我本就苍老,顺应了IT行业的需要。25岁那年,曾被跟我一样高的漂亮美眉叫叔叔,从此再也不敢打小姑娘的注意,走上了重口味热爱阿姨级别女性的不归路;曾被三十五、六岁的同事阿姨说苍老:看你也就三十五六吧,那年我25;周一的时候,还有一个60后的同事问及我的年龄,他很含蓄的,明显带着保留的口吻问我:你是75年的吧?因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等,体重大于身高的角色,算是已经胖出了一定层次,每次听到别人叫我胖子,就感觉小小的自尊多少受到了伤害,然后就给自己在后面加了一个哥子,算是给自己遮半张脸吧。闲话就聊到这里,还是继续胖子哥的大数据之路吧,这次要谈的还是数据仓库。
二、实时查询数据库-HDFS&HBase
传统关系型数据库基于存储模式的问题带来的存储和访问瓶颈,是无法靠自身解决的,也就有了基于Big-Table型的NoSQL数据库用武之地,比较典型技术组合就是HDFS+HBase,利用HDFS的分布式、高可用数据存储,结合HBase面向列的数据存储模型,从而解决大数据量存储的问题;结合HBase基于Rowkey自然序的存储,从而实现海量数据快速查询。当然这种模式只适用于结构型数据,而且只适用于历史数据查询,而不适用于事务型业务的处理,从而产生了大数据在结构化数据存储方面的第一种模式:实时查询数据库;
三、大数据仓库-HDFS&Hive
基于关系型数据库的数据仓库,同样面临数据存储规模的问题,因此在银行业务中,同样也只能存储短期的数据,其目标在在于支持基于业务年度的报表统计和业务分析,而对于超过一定期限的数据仍然在走数据磁盘或磁带存储的模式。基于大数据技术体系,采用HDFS+Hive的模式,构建大数据仓库,则可以很轻松的解决数据大基数存储的问题。从而产生了大数据在结构化数据数据存储方面的第二种模式:大数据仓库;
四、替换还是互补-大家来回答,期待你的答案
问题一
实时查询数据库能否替换实时操作数据库吗?
问题二
大数据仓库可以替代数据仓库吗?
五、关于大数据题外话
曾经就干货与湿货的问题,与人发生过争辩,还是不淡定了。其实对于一个口渴的人,水就是干货,同样,对于一个迷路的人,指南针就是干货。见仁见智的事,不再做争辩。重在分享,送给大数据传统企业应用实施的探路者们,送给需要的人,立此存照。
持续更新中,未完待续。。。。
下期预告:大数据仓库项目的需求分析该如何去做。敬请期待。
胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还是我本就苍老,顺应了IT行业的需要。25岁那年,曾被跟我一样高的漂亮美眉叫叔叔,从此再也不敢打小姑娘的注意,走上了重口味热爱阿姨级别女性的不归路;曾被三十五、六岁的同事阿姨说苍老:看你也就三十五六吧,那年我25;周一的时候,还有一个60后的同事问及我的年龄,他很含蓄的,明显带着保留的口吻问我:你是75年的吧?因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等,体重大于身高的角色,算是已经胖出了一定层次,每次听到别人叫我胖子,就感觉小小的自尊多少受到了伤害,然后就给自己在后面加了一个哥子,算是给自己遮半张脸吧。闲话就聊到这里,还是继续胖子哥的大数据之路吧,这次要谈的还是数据仓库。
二、实时查询数据库-HDFS&HBase
传统关系型数据库基于存储模式的问题带来的存储和访问瓶颈,是无法靠自身解决的,也就有了基于Big-Table型的NoSQL数据库用武之地,比较典型技术组合就是HDFS+HBase,利用HDFS的分布式、高可用数据存储,结合HBase面向列的数据存储模型,从而解决大数据量存储的问题;结合HBase基于Rowkey自然序的存储,从而实现海量数据快速查询。当然这种模式只适用于结构型数据,而且只适用于历史数据查询,而不适用于事务型业务的处理,从而产生了大数据在结构化数据存储方面的第一种模式:实时查询数据库;
三、大数据仓库-HDFS&Hive
基于关系型数据库的数据仓库,同样面临数据存储规模的问题,因此在银行业务中,同样也只能存储短期的数据,其目标在在于支持基于业务年度的报表统计和业务分析,而对于超过一定期限的数据仍然在走数据磁盘或磁带存储的模式。基于大数据技术体系,采用HDFS+Hive的模式,构建大数据仓库,则可以很轻松的解决数据大基数存储的问题。从而产生了大数据在结构化数据数据存储方面的第二种模式:大数据仓库;
四、替换还是互补-大家来回答,期待你的答案
问题一
实时查询数据库能否替换实时操作数据库吗?
问题二
大数据仓库可以替代数据仓库吗?
五、关于大数据题外话
曾经就干货与湿货的问题,与人发生过争辩,还是不淡定了。其实对于一个口渴的人,水就是干货,同样,对于一个迷路的人,指南针就是干货。见仁见智的事,不再做争辩。重在分享,送给大数据传统企业应用实施的探路者们,送给需要的人,立此存照。
持续更新中,未完待续。。。。
下期预告:大数据仓库项目的需求分析该如何去做。敬请期待。
相关文章推荐
- 胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式
- 胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式
- 胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式
- 大数据结构化数据存储应用模式
- 本文是笔者根据数据库编程经验,利用C++语言的模板、继承、授权、多态等面向对象特性,借鉴命令模式,实现了对象在关系数据中的存储,降低应用系统与数据库之间的耦合,提高开发效率。
- Redis队列数据存储模式在秒杀中的应用
- oracle物理DG管理-redo数据传输,应用与三种模式
- 胖子哥的大数据之路(11)-我看Intel&&Cloudera的合作
- 实验九——基本数据类型存储及应用总结
- Android中使用SharedPreferences进行数据存储及文件操作模式
- 取消基本数据的修改——备忘录模式的应用
- 让你彻底明白hive数据存储各种模式
- Windows 8 应用开发 - 本地数据存储
- CYQ.Data 轻量数据层之路 应用示例三 Aop切入留言系统--操作日志(二十七)
- Windows 8 应用开发 - 本地数据存储
- 实时数据平台设计:技术选型与应用场景适配模式 - 大数据
- 工厂设计模式之数据存储
- 探讨:重复数据删除在主存储中的应用
- 任何国家都无法限制数字货币。为什么呢? 要想明白这个问题需要具备一点区块链的基础知识: 区块链使用的大致技术包括以下几种: a.点对点网络设计 b.加密技术应用 c.分布式算法的实现 d.数据存储技术 e.拜占庭算法 f.权益证明POW,POS,DPOS 原因一: 点对点网络设计 其中点对点的P2P网络是bittorent ,由于是点对点的网络,没有中心化,因此在全球分布式的网
- iOS开发UI篇—ios应用数据存储方式(XML属性列表-plist)