Hive通过动态分区装载数据

进入hive:

1、创建分区表t12

create table t12(id int,name string) partitioned by (year:int,month:int) row format delimited fields terminated by '\t';

2、装载数据到分区表t12

load data local inpath 'data/t8' into table t12 partition(year=2015,month=8);

load data local inpath 'data/t8' into table t12 partition(year=2015,month=9);

load data local inpath 'data/t8' into table t12 partition(year=2015,month=10);

load data local inpath 'data/t8' into table t12 partition(year=2015,month=11);

t8中的数据如下所示：

1 liubiaoxin

2 chenxiaoqiong

3 zhangsan

4 lisi

5 wangwu

6 zhaoliu

3、创建分区表t13

create table t13(id int,name string) partitioned by (year:int,month:int) row format delimited fields terminated by '\t';

4、动态加载数据到分区表

insert into table t13 partition(year=2015,month) select
id,name,month from t12 where year=2015;

执行此语句会把t12表中的year=2015的所有数据插入到新的分区表t13中。注意id,name,month的写法，t13中有id、name、year、month字段，其中year、month为分区字段，插入的时候，因为已经指定year=2015，所以从t12中查询的时候，只指定三列id,name,month就行了。

5、使用全部分区才可以变为动态的

set hive.exec.dynamic.partition.mode=nonstrict; //必须设置，才可以使用全部分区才可以变为动态的

insert into table t13 partition(year,month) select * from t12;