您的位置:首页 > 运维架构 > Apache

Spark to yarn启动的时候报错:org.apache.spark.SparkException: Yarn application has already ended!

2019-04-13 23:38 120 查看

场景:Spark to yarn启动的时候报错
原因:虚拟内存不够
解决方案:

                  可通过以下两种方式解决:

                 调大虚拟内存比:

                              yarn.nodemanager.vmem-pmem-ratio 默认2.1倍

                 或者关闭虚拟内存检查:

                             yarn.nodemanager.vmem-check-enabled 默认true

这是犯错的场景:

输入命令如下: 

./spark-submit  --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 1

报错如下:

org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.

 

打开hadoop的web端

 

 

解决方案如下:

切换到hadoop目录下

cd /home/hadoop-2.6.5/etc/hadoop

vim yarn-site.xml

<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>3</value>
</property>

 

重启yarn

stop-yarn.sh

start-yarn.sh

重新输入指令

./spark-submit  --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 1

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐