hadoop调度程序时出现“Error opening job jar”错误
2014-04-25 13:45
330 查看
提示出现的问题:
调度命令:
一般这个错误原因有两个:
1. 先检查对应路径下是否有该jar包
2. jar包的路径是否写正确
3. jar包有问题
查明原因是:对应目录里面没有该jar包,我用hadoop fs -ls 目录路径 命令发现有该jar包,但是用ll命令却没有看到该jar包,
“ll”命令和“hadoop fs -ls 路径” 命令的区别:
1. ll命令:查看服务器本地的所有文件
2. hadoop fs -ls 路径 命令:查看HDFS的所有文件
hadoop 调度命令调度的是服务器本地的jar包
Exception in thread "main" java.io.IOException: Error opening job jar: /home/deploy/recsys/workspace/ouyangyewei/recommender-dm-1.0-SNAPSHOT-lib at org.apache.hadoop.util.RunJar.main(RunJar.java:90) Caused by: java.util.zip.ZipException: error in opening zip file at java.util.zip.ZipFile.open(Native Method) at java.util.zip.ZipFile.<init>(ZipFile.java:127) at java.util.jar.JarFile.<init>(JarFile.java:135) at java.util.jar.JarFile.<init>(JarFile.java:72) at org.apache.hadoop.util.RunJar.main(RunJar.java:88) -bash-3.2$ hadoop fs -ls /home/deploy/recsys/workspace/ouyangyewei Warning: $HADOOP_HOME is deprecated.
调度命令:
hadoop jar recommender-dm_fat.jar com.yhd.ml.statistics.category.GenCategoryUserProfileJob --userProfileTable full_user_profile --categoryId 957370 --categoryFile /user/hive/warehouse/category/part-m-00000 --output /home/deploy/recsys/workspace/ouyangyewei/output
一般这个错误原因有两个:
1. 先检查对应路径下是否有该jar包
2. jar包的路径是否写正确
3. jar包有问题
查明原因是:对应目录里面没有该jar包,我用hadoop fs -ls 目录路径 命令发现有该jar包,但是用ll命令却没有看到该jar包,
“ll”命令和“hadoop fs -ls 路径” 命令的区别:
1. ll命令:查看服务器本地的所有文件
2. hadoop fs -ls 路径 命令:查看HDFS的所有文件
hadoop 调度命令调度的是服务器本地的jar包
相关文章推荐
- hadoop调度程序时出现“Error opening job jar”错误
- 问题记录:hadoop集群提交job时出现Exception in thread "main" java.io.IOException: Error opening job jar:
- hadoop+eclipse 调试程序出现的问题warn: no job jar file set 以及 点击run on hadoop 无反应
- centos出现这个错误:Job for sshd.service failed because the control process exited with error code.
- 在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误。未找到或无法访问服务器。请验证实例名称是否正确并且 SQL Server 已配置为允许远程连接。 (provider: 命名管道提供程序, error: 40 - 无法打开到 SQL
- Turbo C 2.0 图形程序 出现错误: BGI Error: Graphics not initialized (use 'initgraph')
- Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar
- Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar
- C程序访问hadoop出现的各种编译错误和运行时各种类DefFound异常的解决方法
- 重装jdk1.8出现如下错误Error opening registry key'software\Javasoft\Java Runtime Environment'
- keil5 编译程序出现错误Error: L6411E: No compatible library exists with a definition of startup symbol __main
- Android程序运行时出现java.lang.OutOfMemoryError 错误
- Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar
- 尝试在 Windows Server 2003 或 Windows XP 中安装大型 Windows Installer 程序包或大型 Windows Installer 修补程序包时出现错误消息:“Error 1718. File was rejecte
- [SqlException (0x80131904): 在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误。……(provider: TCP 提供程序, error: 0 - 由于目标机器积极拒绝,无法连接。)]
- eclipse 中 4000 运行 Hadoop2.7.3 map reduce程序 出现错误(null) entry in command string: null chmod 0700
- andriod中如果引入jar包错误出现Conversion to Dalvik format failed with error 1
- 解决vc++DEBUG ERROR问题前几天师弟调试程序的时候出现了这样一个错误,出错的位置是在delete [] 一个动态分配的数组时出现的。 经过调查发现错误是因为他之前在给数组赋值的时候越界了
- 用vs2017编写opencv程序,出现下列错误OpenCV Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow
- error 25015安装程序集“C:\Windows\Microsoft .NET\Framework\v2.0.50727\xxx.dll”失败,原因是出现了系统错误:另一个程序正在使用此文件,进程无法访问