Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
2016-09-21 16:56
531 查看
原文链接:http://blog.csdn.net/dai451954706/article/details/50464036
-----------------------------------------------------------------------------------------------------
今天,一大清早同事就让我帮他解决Hive的问题:他在Hive中执行简单的查询(直接从hive查询数据,没有MR过程)能很快的得到结果,但是执行复杂的查询时,就一直卡着不动.我连到服务器上试了一下,跟他遇到的问题一样,问题处在哪里呢?既然简单的查询能出结果,复杂查询需要MR计算,但是却卡住了,那估计是Hadoop的问题.
于是,我在Hadoop跑一个简单的WountCound程序试试,结果跟Hive中遇到的情况一样:
然后就一直卡在这个界面,很久都没有结果.
最先想到的是:配置可能有点问题.于是我把配置检查了一遍,发现配置没错.于是,我又去检查Yarn和HDFS的启动日志,也没有发现ERROR.接着,我查看每个任务运行时的Container日志,也没有Error.真是见鬼了!
在我查看各种日志和配置的时候,我同事在Docker中,将集群上的配置Copy过去,试了一遍,能正常运行!这...
然后,我各种百度,google,在百度出来的各种方法我都试了一遍,仍然没有解决问题!于是,我同事说,是不是安装的时候有些包损坏了.于是,他又重新装了一边Hadoop,还是使用原来的配置,可问题依旧!
此时,都已经搞了一直整天了,还有一个小时就要下班了!
于是,我在Google中看了几篇文章,基本上上面所说的方法我都试了.终于,在Stackover上有一个哥们也遇到了同样的问题,有人帮他解决了,里面链接到了一个网站:http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
,我打开一看,说的是要设置yarn里面关于内存和虚拟内存的配置项.我以前没配置这几项,也能正常运行,感觉是这个问题的可能性不大啊!但是,既然这么多方法都不管用,这能试一试了.
于是,我在yarn-site.xml中加了:
[plain] view
plain copy
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
再次运行,居然成功了!
然后运行Hive,也能正确的运行了!
出现此故障的原因应该是,在每个Docker分配的内存和CPU资源太少,不能满足Hadoop和Hive运行所需的默认资源需求。
以上参数的配置详解见博客:http://blog.csdn.net/zengmingen/article/details/52609893
-----------------------------------------------------------------------------------------------------
今天,一大清早同事就让我帮他解决Hive的问题:他在Hive中执行简单的查询(直接从hive查询数据,没有MR过程)能很快的得到结果,但是执行复杂的查询时,就一直卡着不动.我连到服务器上试了一下,跟他遇到的问题一样,问题处在哪里呢?既然简单的查询能出结果,复杂查询需要MR计算,但是却卡住了,那估计是Hadoop的问题.
于是,我在Hadoop跑一个简单的WountCound程序试试,结果跟Hive中遇到的情况一样:
然后就一直卡在这个界面,很久都没有结果.
最先想到的是:配置可能有点问题.于是我把配置检查了一遍,发现配置没错.于是,我又去检查Yarn和HDFS的启动日志,也没有发现ERROR.接着,我查看每个任务运行时的Container日志,也没有Error.真是见鬼了!
在我查看各种日志和配置的时候,我同事在Docker中,将集群上的配置Copy过去,试了一遍,能正常运行!这...
然后,我各种百度,google,在百度出来的各种方法我都试了一遍,仍然没有解决问题!于是,我同事说,是不是安装的时候有些包损坏了.于是,他又重新装了一边Hadoop,还是使用原来的配置,可问题依旧!
此时,都已经搞了一直整天了,还有一个小时就要下班了!
于是,我在Google中看了几篇文章,基本上上面所说的方法我都试了.终于,在Stackover上有一个哥们也遇到了同样的问题,有人帮他解决了,里面链接到了一个网站:http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
,我打开一看,说的是要设置yarn里面关于内存和虚拟内存的配置项.我以前没配置这几项,也能正常运行,感觉是这个问题的可能性不大啊!但是,既然这么多方法都不管用,这能试一试了.
于是,我在yarn-site.xml中加了:
[plain] view
plain copy
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
再次运行,居然成功了!
然后运行Hive,也能正确的运行了!
出现此故障的原因应该是,在每个Docker分配的内存和CPU资源太少,不能满足Hadoop和Hive运行所需的默认资源需求。
以上参数的配置详解见博客:http://blog.csdn.net/zengmingen/article/details/52609893
相关文章推荐
- Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
- Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
- Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
- Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
- hadoop中执行jar时一直卡在INFO mapreduce.Job: Running job
- hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1403905542893_0004
- hadoop job -kill 与 yarn application -kii(作业卡了或作业重复提交或MapReduce任务运行到running job卡住)
- hadoop学习笔记(5)-运行任务(Job)小结:第三方jar包、hadoop jar命令
- Hadoop学习笔记(老版本,YARN之前),MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系
- hadoop运行到mapreduce.job: Running job后停止运行
- hadoop运行原理之Job运行(五) 任务调度
- Hadoop 里MapReduce里 实现多个job任务 包含(迭代式、依赖式、链式)
- 【问题】spark运行python写的mapreduce任务,hadoop平台报错,java.net.ConnectException: 连接超时
- Hadoop-2.7.3集群卡在INFO mapreduce.Job: Running job: job_1457182697428_0001
- hadoop学习笔记(5)-运行任务(Job)小结:第三方jar包、hadoop jar命令
- Hadoop学习笔记,MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系
- Hadoop中MapReduce运行剖析-Anatomy of a MapReduce Job Run with Hadoop
- Hadoop-MapReduce Job本地运行流程
- hadoop MapReduce运行异常:Unknown protocol to name node: org.apache.hadoop.mapred.JobSubmissionProtocol