sqoop从greenplum到数据到hive中
2017-04-14 13:50
141 查看
关于sqoop原理详见官文,这里都不做介绍,此处就记录用sqoop把greenplum数据导到hive中的方法和我测试时候遇到的问题;
一:sqoop的解压安装后,配置sqoop-env.sh配置文件
二:把链接数据库的mysql-connector-java-5.1.3-jar包传到sqoop lib目录下
三:执行导入命令:
sqoop import -m1 \ --------------------指定mr并行度
--connect jdbc:postgresql://localhost:5432/edf \ ---数据库的驱动
--username gphive --password 123 \ ---------用户名和密码
--table biz_account \ ----------表名称
--hive-import \
--hive-table zt.sqoopTest \ -------------hive库和表
--null-string '\\N' \ ---------------处理空字符
--null-non-string '\\N' \
--hive-drop-import-delims \
--fields-terminated-by "\0001" \ -----------字段分隔符
--lines-terminated-by "\n" --------------行分隔符
四:说明
上面的命令可以直接把greenplum表直接把数据导到hive中,hive的database为zt,表的名字为sqoopTest,在测试过程中可以发现,sqoop命令后会生成一个 biz_account.java编译后的文件,这个文件会当做一个job提交到mr中执行,sqoop第一步会把数据导到hdfs上,然后再把HDFS数据load hive中,hive表会自动建立;
然后当测试的时候,我指定greenplum的schema的时候如下面命令,
----------------------------
sqoop import -m1 \
--connect jdbc:postgresql://localhost:5432/edf \
--username gphive --password 123 \
--table biz_account \
-- --schema df \ -----------------------指定greenplum的schema
--hive-import \
--hive-table zt.sqoopTest10 \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-drop-import-delims \
--fields-terminated-by "\0001" \
--lines-terminated-by "\n"
奇怪的发现sqoop只把数据导到了hdfs中,而没有到hive中?我一直很纳闷?后面对这个项目进行了多次测试结果都是同样的,数据只到HDFS中却没有建hive中,而对于大家常用的MySQL却没有上面的问题;
对于上面的问题解决,还是没有用sqoop方法解决掉(哪位解决了请告诉一下),为了导到hive中最终还是采用别的办法解决了上面问题。
一:sqoop的解压安装后,配置sqoop-env.sh配置文件
二:把链接数据库的mysql-connector-java-5.1.3-jar包传到sqoop lib目录下
三:执行导入命令:
sqoop import -m1 \ --------------------指定mr并行度
--connect jdbc:postgresql://localhost:5432/edf \ ---数据库的驱动
--username gphive --password 123 \ ---------用户名和密码
--table biz_account \ ----------表名称
--hive-import \
--hive-table zt.sqoopTest \ -------------hive库和表
--null-string '\\N' \ ---------------处理空字符
--null-non-string '\\N' \
--hive-drop-import-delims \
--fields-terminated-by "\0001" \ -----------字段分隔符
--lines-terminated-by "\n" --------------行分隔符
四:说明
上面的命令可以直接把greenplum表直接把数据导到hive中,hive的database为zt,表的名字为sqoopTest,在测试过程中可以发现,sqoop命令后会生成一个 biz_account.java编译后的文件,这个文件会当做一个job提交到mr中执行,sqoop第一步会把数据导到hdfs上,然后再把HDFS数据load hive中,hive表会自动建立;
然后当测试的时候,我指定greenplum的schema的时候如下面命令,
----------------------------
sqoop import -m1 \
--connect jdbc:postgresql://localhost:5432/edf \
--username gphive --password 123 \
--table biz_account \
-- --schema df \ -----------------------指定greenplum的schema
--hive-import \
--hive-table zt.sqoopTest10 \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-drop-import-delims \
--fields-terminated-by "\0001" \
--lines-terminated-by "\n"
奇怪的发现sqoop只把数据导到了hdfs中,而没有到hive中?我一直很纳闷?后面对这个项目进行了多次测试结果都是同样的,数据只到HDFS中却没有建hive中,而对于大家常用的MySQL却没有上面的问题;
对于上面的问题解决,还是没有用sqoop方法解决掉(哪位解决了请告诉一下),为了导到hive中最终还是采用别的办法解决了上面问题。
相关文章推荐
- 利用sqoop从sqlserver导入数据到HDFS或Hive
- 急性子的开源大数据,第 1 部分: Hadoop 教程:Hello World 与 Java、Pig、Hive、Flume、Fuse、Oozie,以及 Sqoop 与 Informix、DB2 和
- 利用sqoop将hive数据导入导出数据到mysql
- 使用sqoop1.4.4从oracle导入数据到hive中错误记录及解决方案
- 利用sqoop 将 hive/hdfs数据 导入 Oracle中
- 用sqoop导入数据到hive中
- Sqoop工具使用(一)--从oracle导入数据到hive
- Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- sqoop 导入mysql数据到hive
- 【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表
- 使用sqoop把mysql数据导入hive
- 使用sqoop将hive中的表数据导入到mysql数据库表中,错误解决
- 用sqoop实现mysql和hive数据互导
- sqoop导出hive数据到mysql错误ava.util.NoSuchElementException解决办法
- sqoop导入数据到hive
- 使用sqoop将mysql中数据导入到hive中
- 利用sqoop从mysql向多分区hive表中导入数据
- 利用sqoop将hive数据导入导出数据到mysql
- sqoop 从oracle导数据到hive中,date型数据时分秒截断问题