hive开发环境搭建体验
2013-05-22 14:26
204 查看
最近为了规范hadoop团队的开发流程,所以已经在Eclipse里进行相关的hive开发工作。
但是目前在运行hive的时候,有几个问题需要注意下:
第一个问题:
直接运行CliDriver类报错,信息如下:
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Exception in thread "main" java.lang.RuntimeException: Failed to load Hive builtin functions
at org.apache.hadoop.hive.ql.session.SessionState.<init>(SessionState.java:205)
at org.apache.hadoop.hive.cli.CliSessionState.<init>(CliSessionState.java:81)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:579)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:557)
Caused by: java.util.zip.ZipException: error in opening zip file
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.<init>(ZipFile.java:127)
at java.util.jar.JarFile.<init>(JarFile.java:135)
at java.util.jar.JarFile.<init>(JarFile.java:72)
at sun.net.www.protocol.jar.URLJarFile.<init>(URLJarFile.java:72)
at sun.net.www.protocol.jar.URLJarFile.getJarFile(URLJarFile.java:48)
at sun.net.www.protocol.jar.JarFileFactory.get(JarFileFactory.java:55)
at sun.net.www.protocol.jar.JarURLConnection.connect(JarURLConnection.java:104)
at sun.net.www.protocol.jar.JarURLConnection.getInputStream(JarURLConnection.java:132)
at java.net.URL.openStream(URL.java:1010)
at org.apache.hadoop.hive.ql.exec.FunctionRegistry.registerFunctionsFromPluginJar(FunctionRegistry.java:1226)
at org.apache.hadoop.hive.ql.session.SessionState.<init>(SessionState.java:202)
... 3 more
解决方式:
在对应的bin目录下将BuiltinUtils.class删除(路径在bin目录下的org/apache/hive/builtins/),使用hive里的builtins的jar(在hive部署的目录下$HIVE_HOME/lib/)。
这样操作完成后运行就正常了,运行情况如下:
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/Users/chenyi8888/Documents/hadoop_dev/hive_0_9_0/bin/hive-log4j.properties
Hive history file=/tmp/chenyi8888/hive_job_log_chenyi8888_201210091518_879179594.txt
2012-10-09 15:18:53.286 java[1032:1203] Unable to load realm info from SCDynamicStore
hive>
第二问题就是开发环境问题,
目前在MAC OS下运行正常,但是在Ubuntu下面就会出现Eclipse死掉了。
原因是jline里的一个ConsoleReader这个类在创建的时候导致Eclipse死掉(如果将jline相关的代码注释掉,即可运行),而且目前不只是一台ubuntu的机器这样。
目前官方文档上是这样介绍的:
The platforms on which JLine has been confirmed to work are:
Microsoft Windows XP
RedHat Linux 9.0
Debian Linux 3.0
Macintosh OS X 10.3
该问题被解决了,因为是jline在eclipse里的运行有问题,需要设置参数,步骤如下:
在运行CliDriver类之前设置下VM的参数
-Djline.terminal=jline.UnsupportedTerminal
详细内容参考:
http://trac.hmmingbird.co.uk/ticket/248
但是目前在运行hive的时候,有几个问题需要注意下:
第一个问题:
直接运行CliDriver类报错,信息如下:
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Exception in thread "main" java.lang.RuntimeException: Failed to load Hive builtin functions
at org.apache.hadoop.hive.ql.session.SessionState.<init>(SessionState.java:205)
at org.apache.hadoop.hive.cli.CliSessionState.<init>(CliSessionState.java:81)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:579)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:557)
Caused by: java.util.zip.ZipException: error in opening zip file
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.<init>(ZipFile.java:127)
at java.util.jar.JarFile.<init>(JarFile.java:135)
at java.util.jar.JarFile.<init>(JarFile.java:72)
at sun.net.www.protocol.jar.URLJarFile.<init>(URLJarFile.java:72)
at sun.net.www.protocol.jar.URLJarFile.getJarFile(URLJarFile.java:48)
at sun.net.www.protocol.jar.JarFileFactory.get(JarFileFactory.java:55)
at sun.net.www.protocol.jar.JarURLConnection.connect(JarURLConnection.java:104)
at sun.net.www.protocol.jar.JarURLConnection.getInputStream(JarURLConnection.java:132)
at java.net.URL.openStream(URL.java:1010)
at org.apache.hadoop.hive.ql.exec.FunctionRegistry.registerFunctionsFromPluginJar(FunctionRegistry.java:1226)
at org.apache.hadoop.hive.ql.session.SessionState.<init>(SessionState.java:202)
... 3 more
解决方式:
在对应的bin目录下将BuiltinUtils.class删除(路径在bin目录下的org/apache/hive/builtins/),使用hive里的builtins的jar(在hive部署的目录下$HIVE_HOME/lib/)。
这样操作完成后运行就正常了,运行情况如下:
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/Users/chenyi8888/Documents/hadoop_dev/hive_0_9_0/bin/hive-log4j.properties
Hive history file=/tmp/chenyi8888/hive_job_log_chenyi8888_201210091518_879179594.txt
2012-10-09 15:18:53.286 java[1032:1203] Unable to load realm info from SCDynamicStore
hive>
第二问题就是开发环境问题,
目前在MAC OS下运行正常,但是在Ubuntu下面就会出现Eclipse死掉了。
原因是jline里的一个ConsoleReader这个类在创建的时候导致Eclipse死掉(如果将jline相关的代码注释掉,即可运行),而且目前不只是一台ubuntu的机器这样。
目前官方文档上是这样介绍的:
The platforms on which JLine has been confirmed to work are:
Microsoft Windows XP
RedHat Linux 9.0
Debian Linux 3.0
Macintosh OS X 10.3
该问题被解决了,因为是jline在eclipse里的运行有问题,需要设置参数,步骤如下:
在运行CliDriver类之前设置下VM的参数
-Djline.terminal=jline.UnsupportedTerminal
详细内容参考:
http://trac.hmmingbird.co.uk/ticket/248
相关文章推荐
- hive开发环境搭建体验
- hive开发环境搭建体验
- Hive项目开发环境搭建(Eclipse\MyEclipse + Maven)
- hive源代码开发(一)--开发调试环境搭建
- 深入体验bash on windows!在windows上搭建原生的linux开发环境环境
- NXP LPC54110试用体验1:keil开发环境搭建
- Weex开发体验之一:环境搭建及调测
- python--基础学习(一)开发环境搭建,体验HelloWorld
- 深入体验bash on windows,在windows上搭建原生的linux开发环境,酷!
- HBase、Hive、MapReduce、Hadoop、Spark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)
- 安卓开发体验之一 开发环境搭建
- Android NDK 开发(五)AndroidStudio 2.2 NDK的开发环境搭建
- 搭建嵌入式QT4开发环境
- Android SDK4.2 (API17) 开发环境的搭建
- VS开发ffmpeg环境搭建
- android模块化app开发笔记-1环境搭建
- 如何在window下搭建 cocos2d-x-开发环境保罗各项配置
- Ubuntu 14.04下安装eclipse搭建C++开发环境
- 【麦可网】Cocos2d-X跨平台游戏开发学习笔记---第四课:Cocos2D-X跨平台开发环境搭建(win32)
- 搭建Eclipse+MyEclipse开发环境