hadoop错误org.apache.hadoop.mapred.TaskAttemptListenerImpl Progress of TaskAttempt
2016-10-08 23:37
453 查看
错误:
org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt
原因:
错误很明显,磁盘空间不足,但郁闷的是,进各节点查看,磁盘空间使用不到40%,还有很多空间。
郁闷很长时间才发现,原来有个map任务运行时输出比较多,运行出错前,硬盘空间一路飙升,直到100%不够时报错。随后任务执行失败,释放空间,把任务分配给其它节点。正因为空间被释放,因此虽然报空间不足的错误,但查看当时磁盘还有很多剩余空间。
这个问题告诉我们,运行过程中的监控很重要。
如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【刘超★ljc】。
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt
原因:
错误很明显,磁盘空间不足,但郁闷的是,进各节点查看,磁盘空间使用不到40%,还有很多空间。
郁闷很长时间才发现,原来有个map任务运行时输出比较多,运行出错前,硬盘空间一路飙升,直到100%不够时报错。随后任务执行失败,释放空间,把任务分配给其它节点。正因为空间被释放,因此虽然报空间不足的错误,但查看当时磁盘还有很多剩余空间。
这个问题告诉我们,运行过程中的监控很重要。
如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【刘超★ljc】。
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
相关文章推荐
- FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
- org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
- hadoop错误org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2
- hadoop错误java.io.IOException at org.apache.hadoop.mapred.pipes.OutputHandler。。。
- Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
- hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
- hadoop 报错org.apache.hadoop.mapred.ReduceTask: java.net.ConnectException: Connection refused
- Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
- hive-05-Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
- 解决hiveserver2报错:java.io.IOException: Job status not available - Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
- 关于return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误
- Hive jdbc执行seelct 语句时报 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
- 解决kylin报错 ClassCastException org.apache.hadoop.hive.ql.exec.ConditionalTask cannot be cast to org.apache.hadoop.hive.ql.exec.mr.MapRedTask
- FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
- hadoop错误Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException Spill failed
- org.apache.hadoop.hbase.ClockOutOfSyncException
- jbpm4以jpdl字符串发布流程 出现com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException 错误
- org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误
- PriviledgedActionException as:aolx (auth:SIMPLE) cause:org.apache.hadoop.mapred.FileAlreadyExistsException:
- Unknown protocol to name node: org.apache.hadoop.mapred.JobSubmissionProtocol