使用sqoop将oracle数据导入hive或hbase，mysql类似

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ssxueyi/article/details/87286227

 

一、从oracle导入hive（mysql类似）

准备工作：

1. 安装hive，并建好database；
2. 安装sqoop，并将oracle驱动包放到sqoop安装路径下的lib目录下。

完成以上步骤即可执行导入语句：

sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:orcl --username ROOT --password 123456 --table TB_TEST  -m 1 --hive-import --hive-database db_test;

 

参数说明：

-import：导入名录；

--connect jdbc:oracle:thin:@192.168.1.100:1521:orcl：数据库连接语句；

--username –password：数据库用户名、密码；

--table：数据库表名，必须大写；

--hive-database hive：数据库名；

--hive-table hive：表名；

-m：并行map task数量 。

 

 

二、从oracle导入hbase（mysql类似）

--指定rowkey方式导入

sqoop import --append --connect jdbc:oracle:thin:@172.16.12.11:1521/rybtdb --username user_test --password user_test --table T_SYS_DICT  --hbase-table WHG2:TB1 --hbase-row-key ID --column-family f1

 

--不指定rowkey方式导入

sqoop import --append --connect jdbc:oracle:thin:@192.168.1.100:1521:orcl --username root --password 123456 --table TB_TEST  --hbase-table WHG:TB_TEST --column-family colum_test

 

参数说明：

--connect：数据库连接串；

--username --password：数据库用户名、密码；

--table：数据库表名，必须大写；

-m：并行执行map task的数量，默认4；

--split-by：并行导入过程中，划分数据段的依据字段；

--hbase-table：hbase表名；

--hbase-create-table：如果指定的hbase表名不存在，则新建表；

--column-family：hbase列族名称；

--hbase-row-key：hbase的rowkey，可以指定一个或多个字段作为row key，组合行键参数中的字段名都必须大写，且用单引号或双引号括起来；该参数也可以不使用，默认源数据库的主键作为rowkey。