hive基本结构与数据存储

一、Hive简介

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。还可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 HQL。使用hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive将元数据存储在数据库（RDBMS）中，比如MySQL、Derby中。Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。

Hive特点：

1.可扩展

Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。

2. 延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

3.容错

良好的容错性，节点出现问题SQL仍可完成执行。

二、Hive架构

Hive体系结构如下图：



再来一张中文的图：



其中第一张图中的Jobtracker是hadoop1.x中的组件，它的功能相当于hadoop2.x中的： Resourcemanager+AppMaster

TaskTracker 相当于：  Nodemanager  +  yarnchild

从上图可以看出，Hive体系结构大概分成一下四个部分：

1.用户接口：包括 CLI, Client, WUI。其中最常用的是 CLI，CLI为shell命令行，Cli 启动的时候，会同时启动一个 Hive 副本。Client 是 Hive 的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出 Hive Server 所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。

2.元数据存储：通常是存储在关系数据库如 mysql, derby 中

3.解释器、编译器、优化器、执行器：完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有MapReduce 调用执行。

4Hadoop：Hive中数据用 HDFS 进行存储，利用 MapReduce 进行计算。

三、数据存储

首先需要清楚Hive中数据存储的位置，元数据（即对数据的描述，包括表，表的列及其它各种属性）是存储在MySQL等数据库中的，因为这些数据要不断的更新，修改，不适合存储在HDFS中。

而真正的数据是存储在HDFS中，这样更有利于对数据做分布式运算。

Hive中主要包括四类数据模型：

1、表：Hive中的表和关系型数据库中的表在概念上很类似，每个表在HDFS中都有相应的目录用来存储表的数据，这个目录可以通过${HIVE_HOME}/conf/hive-site.xml配置文件中的 hive.metastore.warehouse.dir属性来配置，这个属性默认的值是/user/hive/warehouse(这个目录在 HDFS上)，我们可以根据实际的情况来修改这个配置。如果我有一个表wyp，那么在HDFS中会创建/user/hive/warehouse/wyp
目录(这里假定hive.metastore.warehouse.dir配置为/user/hive/warehouse);wyp表所有的数据都存放在这个目录中。这个例外是外部表。

2、外部表：Hive中的外部表和表很类似，但是其数据不是放在自己表所属的目录中，而是存放到别处，这样的好处是如果你要删除这个外部表，该外部表所指向的数据是不会被删除的，它只会删除外部表对应的元数据;而如果你要删除表，该表对应的所有数据包括元数据都会被删除。

3、分区：在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比如wyp 表有dt和city两个分区，则对应dt=20131218,city=BJ对应表的目录为/user/hive/warehouse /dt=20131218/city=BJ，所有属于这个分区的数据都存放在这个目录中。

4、桶：对指定的列计算其hash，根据hash值切分数据，目的是为了并行，每一个桶对应一个文件(注意和分区的区别)。比如将wyp表id列分散至16个桶中，首先对id列的值计算hash，对应hash值为0和16的数据存储的HDFS目录为：/user /hive/warehouse/wyp/part-00000;而hash值为2的数据存储的HDFS 目录为：/user/hive/warehouse/wyp/part-00002。



数据存储参考：http://cloud.51cto.com/art/201507/484318.htm