湿货|小白学习大数据测试之Hive和Hbase
2018-01-25 08:40
369 查看
作为初学者经常会对Hive和Hbase产生疑问,不知道两者是干啥的,有啥区别,总觉得都是存储数据的。其实他们还真是有本质区别的,请听我慢慢道来~
Hbase是nosql数据库,以key-value形式存储数据的,主要用于海量数据的实时查询,比如日志信息。
Hive是数据仓库,而非数据库,主要是用来解决数据处理、计算的。开发人员能够通过SQL来计算和处理HDFS上的结构化数据,适用于离线的批量数据计算
两者一般都是配合使用的,为了方便大家理解我简单画了下数据流图。
最后来一点小科普:
数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
像我们上面讲的Hbase就属于OLTP,Hive属于OLAP
Hbase是nosql数据库,以key-value形式存储数据的,主要用于海量数据的实时查询,比如日志信息。
Hive是数据仓库,而非数据库,主要是用来解决数据处理、计算的。开发人员能够通过SQL来计算和处理HDFS上的结构化数据,适用于离线的批量数据计算
两者一般都是配合使用的,为了方便大家理解我简单画了下数据流图。
最后来一点小科普:
数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
像我们上面讲的Hbase就属于OLTP,Hive属于OLAP
相关文章推荐
- 湿货|小白学习大数据测试之Hive和Hbase
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- 小白学习大数据测试之揭秘大数据的背景与发展
- 小白学习大数据测试之hadoop初探
- 大数据学习系列之五 ----- Hive整合HBase图文详解
- 小白学习大数据测试之hadoop hdfs和MapReduce小实战
- 大数据学习25:Hive 中 distribute by 的测试
- hadoop生态系统学习之路(八)hbase与hive的数据同步以及hive与impala的数据同步
- 小白学习大数据测试之揭秘大数据的背景与发展
- 小白学习大数据测试之hadoop初探
- 大数据学习系列之五 ----- Hive整合HBase图文详解
- 小白学习大数据测试 VS 传统数据库测试
- 小白学习大数据测试之hadoop hdfs和MapReduce小实战
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
- 小白学习大数据测试之揭秘大数据的背景与发展
- hadoop生态系统学习之路(八)hbase与hive的数据同步以及hive与impala的数据同步
- 小白学习大数据测试之ETL
- 小白学习大数据测试之揭秘大数据的背景与发展