第145课： Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解

第145课： Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解

 

1 Yarn生产环境下资源不足无法提交spark

2 yarn－client网络流量的问题

 



 



 

 



 

 

spark streaming 这里是用sparkContext来运行JOB的

看一下源代码，可以仿照来写java 的submit job



 



 



 

 



 

 



 

 

client模式，客户端client的机器不是集群中的设备，可能遇到网络的问题

 



 

 

因此，改成cluster模式就可以了，这样再遇到网络流量暴增的问题，也是在集群里面，由yarn去解决了。