hive集群间数据迁移,export+import
2017-05-17 16:58
381 查看
官方参考链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport
The
Replication extensions to the
Replication Development).
1.生成导出脚本
beeline -u 'jdbc:hive2://bigdata01.younge.club:10000' -n test-user -p 123456 -e "use bigdata_ods;show tables" | grep 'ods*' | awk '{print $2}' | awk '{printf "export table bigdata_ods.%s to @/tmp/hive_export/%s@;\n",$1,$1}' | sed "s/@/'/g" > hive_export.hql
3.执行导出脚本
beeline -u 'jdbc:hive2://bigdata01.younge.club:10000' -n test-user -p 123456 -f hive_export.hql
4.下载hdfs数据到本地
hdfs dfs -get /tmp/hive_export/
5.压缩生成的本地的hive_export文件夹
tar -czvf hive_export.tar.gz hive_export
6.上传到目标集群并解压缩
tar -xvzf hive_export.tar.gz
7.上传到目标集群的HDFS目录中
hdfs dfs -put hive_export /tmp/hive_export
8.构造导入脚本
cp hive_export.sql hive_import.sql
sed -i 's/export table/import table/g' hive_import.sql
sed -i 's/ to / from /g' hive_import.sql
9.hive新建目标数据库
create database bigdata_ods;
10.执行导入脚本,导入数据
beeline -u 'jdbc:hive2://bigdata01.younge.club:10000' -n test-user -p 123456 -f hive_import.hql
The
EXPORTand
IMPORTcommands were added in Hive 0.8.0 (see HIVE-1918).
Replication extensions to the
EXPORTand
IMPORTcommands were added in Hive 1.2.0 (see HIVE-7973 and Hive
Replication Development).
1.生成导出脚本
beeline -u 'jdbc:hive2://bigdata01.younge.club:10000' -n test-user -p 123456 -e "use bigdata_ods;show tables" | grep 'ods*' | awk '{print $2}' | awk '{printf "export table bigdata_ods.%s to @/tmp/hive_export/%s@;\n",$1,$1}' | sed "s/@/'/g" > hive_export.hql
3.执行导出脚本
beeline -u 'jdbc:hive2://bigdata01.younge.club:10000' -n test-user -p 123456 -f hive_export.hql
4.下载hdfs数据到本地
hdfs dfs -get /tmp/hive_export/
5.压缩生成的本地的hive_export文件夹
tar -czvf hive_export.tar.gz hive_export
6.上传到目标集群并解压缩
tar -xvzf hive_export.tar.gz
7.上传到目标集群的HDFS目录中
hdfs dfs -put hive_export /tmp/hive_export
8.构造导入脚本
cp hive_export.sql hive_import.sql
sed -i 's/export table/import table/g' hive_import.sql
sed -i 's/ to / from /g' hive_import.sql
9.hive新建目标数据库
create database bigdata_ods;
10.执行导入脚本,导入数据
beeline -u 'jdbc:hive2://bigdata01.younge.club:10000' -n test-user -p 123456 -f hive_import.hql
相关文章推荐
- 【源】从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
- (MySQL里的数据)通过Sqoop Import Hive 里 和 通过Sqoop Export Hive 里的数据到(MySQL)
- 【源】从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
- 在HortonWorks HDP 2.1 和2.2 集群间进行数据迁移 包括(Hive数据表)
- 不同hadoop集群之间迁移hive数据
- hive export/import逻辑迁移命令
- HBase的数据备份容灾迁移方案:Distcp,CopyTable,Export/Import,Snapshot,Replication
- 从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上
- 不同hadoop集群之间迁移hive数据
- Import/Export实现hbase集群间迁移
- hive export/import逻辑迁移命令简单梳理
- 集群间 Hive 数据 迁移 问题
- DB2数据迁移之export/import
- hadoop跨集群之间迁移hive数据
- 【源】从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上
- 从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
- 集群间 Hive 数据 迁移 问题
- mongodb数据导入导出mongoexport/mongoimport
- HIVE迁移的点点滴滴(四)--HIVE数据导出及自定义分隔符
- hive数据迁移,cdh3u5的hive中数据迁移到cdh5.1的hive中