您的位置:首页 > 运维架构

第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密

2016-06-19 20:46 323 查看
第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密

1个程序,多个job

 作业调度的时候,更大化的使用集群的资源,封装不同的task

receive运行在executor,多个receive,启动多个job,

spark streaming封装了runable对象,2个或3个job属于同样的batch,

产生jobset,jobset具体处理哪些rdd,根据job的并行度把整个job分成子job

 

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: