SQOOP --hive-import 错误(Sqoop Hive exited with status 1)及解决
2016-03-12 12:56
465 查看
SQOOP 基础及安装
执行 SQOOP 的 import 到 HDFS 操作时,
然而,有时我们增加该参数时,可能会报如下的错误:
StackOverflow 上的一个帖子Sqoop Hive exited with status 1,点明了问题所在(HBase与Hive的版本不兼容所致)以及解决方案。
HBase 与 Hive 可在多种级别上出现不兼容的情况,但
比如我机器上的版本如下:
解决方案:
暂时性地将 HBASE_HOME 指向一个别不存在的位置,以使SQOOP不再加载HBase版本的 thrift。
执行 SQOOP 的 import 到 HDFS 操作时,
--hive-import参数的目的是为了将
mysql/oracle等关系型数据库中的文件导入到HDFS文件系统时,顺便也导入到 hive 中去。
然而,有时我们增加该参数时,可能会报如下的错误:
13/04/21 16:42:50 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1 at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:364) at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:314) at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:226) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:415) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:476) at org.apache.sqoop.Sqoop.run(Sqoop.java:145) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229) at org.apache.sqoop.Sqoop.main(Sqoop.java:238)
StackOverflow 上的一个帖子Sqoop Hive exited with status 1,点明了问题所在(HBase与Hive的版本不兼容所致)以及解决方案。
HBase 与 Hive 可在多种级别上出现不兼容的情况,但
sqoop ... --hive-import出错是因为二者的 thrift versions 版本不一致造成的。
比如我机器上的版本如下:
[root@hadoop0 ~]# ls $HIVE_HOME/lib | grep libthrift libthrift-0.9.2.jar [root@hadoop0 ~]# ls $HBASE_HOME/lib | grep libthrift libthrift-0.8.0.jar
解决方案:
暂时性地将 HBASE_HOME 指向一个别不存在的位置,以使SQOOP不再加载HBase版本的 thrift。
相关文章推荐
- Linux笔记(21)——格式化分区
- 嵌入式Linux解析XML开发之:(二)libxml2
- Linux笔记(20)——GPT分区
- 学linux内核的一些感想
- Linux CH2 章末练习(保存代码)
- 说说Linux文件权限那些事儿
- CodeForces 611B New Year and Old Property(模拟)
- Linux 文件系统与设备文件系统 (二)—— sysfs 文件系统与Linux设备模型
- windows,linux桌面系统管理
- centos 7 JDK 环境部署
- Linux磁盘管理及其命令
- Linux笔记(19)——MBR分区
- 通过docker连接mysql
- Nginx配置
- nginx1.6.3源码安装,centos6系统下详解
- Hadoop1.X 与 Hadoop2.X比较
- linux-tar(转)
- centos 7 安装MySQL(笔记)
- shell学习(照着抄)-日期天数计算
- ecshop后台新功能权限的添加