hive中快速对表结构数据进行复制
2017-06-22 15:37
246 查看
1. CREATE TABLE new_table LIKE old_table;
2. 使用Hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下;
3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据;
#当前没有partition元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
Time taken: 0.104 seconds
#创建两个分区目录
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201603;
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201604;
#使用MSCK修复分区
hive> msck repair table cr_cdma_bsi_mscktest;
OK
Partitions not in metastore: cr_cdma_bsi_mscktest:month=201603
Partitions not in metastore: cr_cdma_bsi_mscktest:month=201604
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201603
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201604
Time taken: 0.286 seconds, Fetched: 2 row(s)
#再次查看,发现已经成功更新元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
month=201603
month=201604
Time taken: 0.102 seconds, Fetched: 1 row(s)
2. 使用Hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下;
3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据;
#当前没有partition元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
Time taken: 0.104 seconds
#创建两个分区目录
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201603;
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201604;
#使用MSCK修复分区
hive> msck repair table cr_cdma_bsi_mscktest;
OK
Partitions not in metastore: cr_cdma_bsi_mscktest:month=201603
Partitions not in metastore: cr_cdma_bsi_mscktest:month=201604
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201603
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201604
Time taken: 0.286 seconds, Fetched: 2 row(s)
#再次查看,发现已经成功更新元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
month=201603
month=201604
Time taken: 0.102 seconds, Fetched: 1 row(s)
相关文章推荐
- hive中快速对表结构数据进行复制
- 如何对MySQL数据表进行复制、表结构复制
- 相同结构的两个表进行数据复制(SQL数据库)
- Sql Server两个数据库中有一张表的结构一样,怎么快速将一张表中的数据复制到另一个表中
- 如何对MySQL数据表进行复制、表结构复制
- 一起学Hive——总结复制Hive表结构和数据的方法
- Oracle SQL快速复制表结构或数据
- Hive中如何快速的复制一张分区表(包括数据)
- Hive中如何快速的复制一张分区表(包括数据)
- 复制Datatable结构和数据,并按条件进行筛选
- Hive中如何快速的复制一张分区表(包括数据)
- Oracle快速复制表结构和数据
- logstash传输自定义字段数据到hdfs进行分年月日分区,并且hive可以通过hiveQL快速查询数据
- 如何对MySQL数据表进行复制、表结构复制
- Hive中如何快速的复制一张分区表(包括数据)
- Hive中如何快速的复制一张分区表和数据
- Oracle中如何复制表结构和表数据进行备份
- MSSQL快速创建结构相同或相似的表(或创建的同时并复制数据)
- Hive中如何快速的复制一张分区表(包括数据)
- 发布最实用的数据结构(快速Hash树)SDK开发包---产品文档