解决 RMContainerAllocator: Exception while unregistering java.lang.NullPointerException问题
2016-02-15 16:40
711 查看
在hadoop2.5.2环境中,执行一个mr任务,计算结果正确输出到hdfs里面了,但是job异常退出了,
报错信息如下:
大概意思就是有任务失败了吧。
然后查看各节点日志,发现有一个节点报错了,报错信息如下:
于是开始gg,发现hadoop官网上有相关报错issue:
https://issues.apache.org/jira/browse/MAPREDUCE-6213
这个bug的原因是这样描述的:
When DNS failed for a time, all MapReduce jobs which completed during that time got failed.
没理解,DNS不通导致的吗?为什么我3个节点就其中一个必然失败,其他的两个节点不会失败?
暂时不管了,下面有解决方案:
需要改代码,org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil
这个类在hadoop-mapreduce-client-common-2.5.2.jar包中,直接解压这个jar包,获得MRWebAppUtil.class文件,
反编译后修改相j关代码重新生成新的MRWebAppUtil.class文件,覆盖原文件。
执行jar cvf
hadoop-mapreduce-client-common-2.5.2.jar * 生成新的jar包。
替换到hadoop中/share/hadoop/mapreduce目录。
重启mapreduce,问题解决了。
报错信息如下:
大概意思就是有任务失败了吧。
然后查看各节点日志,发现有一个节点报错了,报错信息如下:
ERROR [Thread-856] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Exception while unregistering java.lang.NullPointerException at org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil.getApplicationWebURLOnJHSWithoutScheme(MRWebAppUtil.java:135) at org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil.getApplicationWebURLOnJHSWithScheme(MRWebAppUtil.java:150) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.doUnregistration(RMCommunicator.java:212) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.unregister(RMCommunicator.java:182) at org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator.serviceStop(RMCommunicator.java:255)
于是开始gg,发现hadoop官网上有相关报错issue:
https://issues.apache.org/jira/browse/MAPREDUCE-6213
这个bug的原因是这样描述的:
When DNS failed for a time, all MapReduce jobs which completed during that time got failed.
没理解,DNS不通导致的吗?为什么我3个节点就其中一个必然失败,其他的两个节点不会失败?
暂时不管了,下面有解决方案:
需要改代码,org.apache.hadoop.mapreduce.v2.util.MRWebAppUtil
这个类在hadoop-mapreduce-client-common-2.5.2.jar包中,直接解压这个jar包,获得MRWebAppUtil.class文件,
反编译后修改相j关代码重新生成新的MRWebAppUtil.class文件,覆盖原文件。
执行jar cvf
hadoop-mapreduce-client-common-2.5.2.jar * 生成新的jar包。
替换到hadoop中/share/hadoop/mapreduce目录。
重启mapreduce,问题解决了。
相关文章推荐
- Java学习笔记2:Java中Integer与String == 的使用
- hbase java api 类介绍
- eclipse项目中启动项目无法载入类
- java中两种单例模式
- Java判断当前时间是否在时间段中
- JAVA流
- Java的多线程之阻塞队列
- java中实现四舍五入的4种方法
- spring security 3中的10个典型用法小结
- Java 高并发缓存与Guava Cache
- Dubbo与Zookeeper、SpringMVC整合和使用(负载均衡、容错)
- eclipse中的android布局文件的快捷键Alt+/不起作用的一种解决方法
- SpringMvc:在使用@RequestBody和@ResponseBody的时候报415错误
- 菜鸟学SSH(二)——Struts2国际化手动切换版
- eclipse maven 插件的安装和配置
- Struts实现多国语言切换
- How to add or list certificates from keystore or trustStore in Java - Keytool Example Read more: ht
- 各种排序算法的分析及java实现
- struts2学习笔记--拦截器(Interceptor)和登录权限验证Demo
- java中int转String类型,String类型转int类型