Hadoop基础教程-第11章 Hive：SQL on Hadoop（11.5 HQL：DDL数据定义）（草稿）

第11章 Hive：SQL on Hadoop

11.5 HQL：DDL数据定义

HQL中数据定义部分，也就是DDL，主要包括数据库定义和数据表的定义。

前面创建的Hive数据表都是普通的数据表，下来演示分区表等特殊表的定义与使用。

11.5.1 删除表

查找需要删除的表

hive> use default;
OK
Time taken: 0.038 seconds
hive> show tables;
OK
employees
tb1
tb2
Time taken: 0.09 seconds, Fetched: 3 row(s)

删除

hive> drop table tb2;
OK
Time taken: 4.143 seconds
hive> show tables;
OK
employees
tb1
Time taken: 0.056 seconds, Fetched: 2 row(s)
hive>

11.5.2 修改表

（1）修改表名

hive> show tables;
OK
employees
tb1
Time taken: 0.045 seconds, Fetched: 2 row(s)
hive> alter table tb1 rename to demo;
OK
Time taken: 0.448 seconds
hive> show tables;
OK
demo
employees
Time taken: 0.031 seconds, Fetched: 2 row(s)
hive>

（2）增加列

hive> desc demo;
OK
id                      int
name                    string
Time taken: 0.136 seconds, Fetched: 2 row(s)
hive> alter table demo add columns(age int);
OK
Time taken: 0.461 seconds
hive> desc demo;
OK
id                      int
name                    string
age                     int
Time taken: 0.192 seconds, Fetched: 3 row(s)
hive>

（3）修改列

hive> alter table demo change column name username varchar(20);
OK
Time taken: 0.407 seconds
hive> desc demo;
OK
id                      int
username                varchar(20)
age                     int
Time taken: 0.112 seconds, Fetched: 3 row(s)
hive>

11.5.3 分区表

Hive 查询一般是扫描整个表目录，但是有时候我们关心的数据只是集中在某一部分数据上，比如我们执行一个员工表查询，往往是只是查询某一部门的数据（类似的，查询学生表，往往关心查询某一班级或专业的学生），这样的情况下，可以使用分区表来优化，一个部门是一个分区，查询时候，Hive 只扫描指定部门分区的数据即可。

普通表和分区表的区别在于：一个 Hive 表在 HDFS 上是有一个对应的目录来存储数据，普通表的数据直接存储在这个目录下，而分区表数据存储时，是再划分子目录来存储的。一个分区一个子目录。主要作用是来优化查询性能。

[root@node3 ~]# mkdir hql
[root@node3 ~]# vi hql/emp.hql
[root@node3 ~]# cat hql/emp.hql
--切换数据库
use test;

--创建表
create table if not exists emp(
eid     int,
ename       string,
job         string,
mgr         int,
hiredate    date,
sal         double,
comm        double
)
partitioned by(did int)
row format delimited fields terminated by ',';
[root@node3 ~]#

其中，if not exists表示如果不存在表才创建。emp表以 did 字段分区，注意did是个虚拟的字段，该字段不存储数据，而是用来分区的。实际数据存储时，did字段值一样的数据存入同一个子目录中，插入数据或者导入数据时，同部门的数据 did字段赋值一样，这样就实现数据按 did部门分区存储了。

向Hive中导入HQL脚本

[root@node3 ~]# hive -f /root/hql/emp.hql
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive-2.1.1/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true
OK
Time taken: 2.591 seconds
OK
Time taken: 1.357 seconds
[root@node3 ~]#

hive> desc test.emp;
OK
eid                     int
ename                   string
job                     string
mgr                     int
hiredate                date
sal                     double
comm                    double
did                     int

# Partition Information
# col_name              data_type               comment

did                     int
Time taken: 1.946 seconds, Fetched: 13 row(s)
hive>

再次强调，所谓分区，这是将满足某些条件的记录打包，做个记号，在查询时提高效率，相当于按文件夹对文件进行分类，文件夹名可类比分区字段。这个分区字段形式上存在于数据表中，在查询时会显示到客户端上，但并不真正在存储在数据表文件中，是所谓伪列。所以，千万不要以为是对属性表中真正存在的列按照属性值的异同进行分区。

11.5.4 桶

对于每一个数据表或者分区表， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。

Hive表可以针对某一列进行桶的组织。Hive采用对列值哈希计算，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。比如要安装name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。

（1）为什么需要桶？

获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。

使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。

（2）创建带桶的表

hive> create table users(id int,name string)
> clustered by (id) sorted by(name) into 4 buckets
> row format delimited fields terminated by '\t'
> stored as textfile;
OK
Time taken: 0.231 seconds
hive>

使用clustered by子句来指定划分桶所用的列和要划分的桶的个数