HIVE 外部表和内部表数据导入方式以及区别
2017-07-17 00:00
489 查看
一、建表
内部表的创建CREATE EXTERNAL TABLE test.test_maneged_table( id int, name string ) PARTITIONED by (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/user/test/test_localtion_load';--location路径 需提前建好
2.外部表的创建
CREATE TABLE test.test_maneged_table( id int, name string ) PARTITIONED by (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001';
区别:
1. 外部表需要external关键之,location是数据文件默认存放位置,不管是不管是select 还是load的数据都存放在这里。导入数据到外部表,数据并没有mv到数据仓库目录,而是在loacation目录。
2.内部表建表时也能加上location,作用和外部表一样,都是表数据的存放路径,不同的是drop table时内部表会将hdfs上的数据也删掉,外部表仅仅是删除表的元数据,原始数据不会删除。
优点:
1.安全,外部表不用担心表删除带来的风险。
2.灵活,方便数据共享,使用更加灵活。
二、修改分区表增加分区
alter table test.test_maneged_table add partition(dt=20170101) location '/user/test/test_localtion_load/20170101'
会自动在/user/test/test_localtion_load/目录下创建20170101目录,test_maneged_table表dt=20170101分区的数据默认放到文件系统的/user/test/test_localtion_load/20170101
1./user/test/test_localtion_load下面没有任何目录
hadoop fs -ls /user/test/test_localtion_load
2.增加分区
hive> alter table test.test_localtion_load add if not exists partition (dt='20170101') location '/user/test/test_localtion_load/20170101'; OK Time taken: 0.173 seconds
3.再次查看/user/test/test_localtion_load目录,创建了20170101目录
hadoop fs -ls /user/test/test_localtion_loaddrwxr-xr-x - rd supergroup 0 2017-07-18 11:18 /user/test/test_localtion_load/20170101
三、外部表加载数据
1.通过select加载数据hive> insert overwrite table test.test_localtion_load partition (dt='20170101') select 1,2;
hive> select * from test.test_localtion_load where dt=20170101; OK 1 2 20170101 Time taken: 0.376 seconds, Fetched: 1 row(s)
2.通过put数据到hdfs加载数据
hive> alter table test.test_localtion_load add partition (dt='20170102') location '/user/test/test_localtion_load/20170102'; OK Time taken: 0.213 seconds hadoop fs -cp /user/test/test_localtion_load/20170101/* /user/test/test_localtion_load/20170102/ hive> select * from test.test_localtion_load where dt=20170102; OK 1 2 20170102 Time taken: 0.395 seconds, Fetched: 1 row(s)
相关文章推荐
- Hive内部表、外部表、分区表以及外部分区表创建以及导入数据实例讲解
- hive内部表与外部表的区别 与Hive数据存储
- 一起学Hive——创建内部表、外部表、分区表和分桶表及导入数据
- Hive中如何创建内部表和外部表以及它们的区别
- Hive关于内部表外部表以及分区表数据删除总结
- Hive关于内部表外部表以及分区表数据删除总结
- Hive几种数据导入方式
- Hive四种数据导入方式
- Hive 中内部表与外部表的区别与创建方法
- Hive四种数据导入方式介绍
- Hive的几种常见的数据导入方式
- Hive:向内部表和外部表加载数据
- Hive 五种数据导入方式介绍
- C++学习之旅——结构体和联合体的区别,以及数据对齐方式影响内存大小
- Hive四种数据导入方式
- hive1.2.2+hadoop2.7.3导入米骑测试日志以及数据优化(五)
- hive几种数据导入方式
- Hive内部表与外部表区别详细介绍
- Hive四种数据导入方式
- C++学习之旅——结构体和联合体的区别,以及数据对齐方式影响内存大小