hive的功能架构
2017-01-18 20:24
162 查看
hive可以做什么?
hive本质上是Hadoop数据仓库工具。用于解决海量结构化的日志的数据统计。可以将结构化的数据文件映射成一张表,并提供SQL查询。hive可以通过一种基于SQL的数据操纵语言来简化对mapreduce的访问。通过编写SQL语句,优化后自动生成mapreduce任务,并执行任务。
适合离线数据处理,因为hive的执行延迟比较高。
hive是构架在hadoop之上的数据仓库
一个hive表是一个逻辑概念,物理上由一些HDFS中的文件构成。表可以是内部的,hive在数据仓库里面以目录的形式组织它们,数据仓库的路径由hive.metastore.warehouse.dir属性控制,默认的是在HDFS系统上的/user/hive/warehouse。表也可以是外部的,此时hive并不管理它们。表中的数据数据使用MapReduce来计算
表中的数据使用HQL作为查询接口。
优势
● 容易上手。hive原本是Facebook的内部的项目,由它贡献出来,最终成为一个成熟的Apache的顶级项目。我觉得它现在流行的原因是,很大的成都要看到它语言的本质,就是SQL。DBA或者有过数据库开发经验的人,都可以很容易上手。
● 提高效率
在业务逻辑不是很强的情况下,可以不用八股文模版编写job任务。我在看《Hadoop 硬实战》中有个很好的例子,利用相同的时间,hive可以能够在很短的时间内写完并执行MapReduce任务,如果用java去做相同的功能,在相同的时间内,可能连java的main方法都没写完,显然提高了效率。
● 统一的元数据管理。
● 已扩展。
hive组织架构图(使用团队组织结构图模版画的)
相关文章推荐
- 十四、Hive功能架构
- Hive初识功能架构
- Hive之架构 & 功能
- Hive的安装部署、测试、功能架构、表数据加载、导出、查询
- 简单快速开发C\S架构程序用最简单的不分层最快的效率达到功能要求的例子程序FrmCommnetList 所有评论列表的功能实现
- Redis在唯品会的应用实践-架构演进与功能定制
- Flume+Hadoop+Hive的离线分析系统基本架构
- 基于云端虚拟机的LVS/DR+Keepalived+nginx的高可用集群架构配置(更新nginx代理功能) 推荐
- 使用hive、java api两种方式实现wordcount功能、及个人感悟
- 微软Visual Studio 2010架构设计的功能应用
- 基于Hadoop+Hive架构对海量数据进行查询
- 【Lucene】Apache Lucene全文检索引擎架构之搜索功能3
- Hive架构以及应用介绍
- 详解Hive的架构、工作原理及安装步骤
- 架构,改善程序复用性的设计~第三讲 实现一种功能的代码只能出现在一处
- 【LTE基础知识】LTE中RRM功能及架构分析
- Hive 架构与基本组成
- Siebel CRM的整体架构及功能模块全面解读!
- hive中使用自定义函数(UDF)实现分析函数row_number的功能