spark学习-Application、Driver和Worker向Master注册工作流程
2018-03-05 17:23
573 查看
Application向Master注册工作流程:
1.Driver启动后,执行Application注册,SparkContext初始化时,SparkDeploySchedulerBackend会通过AppClient内部线程ClientActor发送RegisterApplication到Master进行注册。
2.将Application信息放入内存缓存(HashMap)
3.将Application加入等待调度的Application队列(ArrayBuffer),并将Application信息持久化。
Driver向Master注册工作流程:
1.用spark-submit提交Application给spark时,会注册Driver。
2.将Driver信息放入内存缓存中(HashMap结构)。
3.加入等待调度队列(ArrayBuffer),并将dirver信息持久化。
Worker向Master注册工作流程:
1.worker启动之后,主动向Master注册。
2.master将状态为DEAD的worker过滤掉,对状态为UNKNOWN的worker清理掉旧的worker信息,替换为新的worker信息。
3.把worker加入内存缓存中(HashMap),并将worker信息进行持久化(文件系统、zookeeper)。
1.Driver启动后,执行Application注册,SparkContext初始化时,SparkDeploySchedulerBackend会通过AppClient内部线程ClientActor发送RegisterApplication到Master进行注册。
2.将Application信息放入内存缓存(HashMap)
3.将Application加入等待调度的Application队列(ArrayBuffer),并将Application信息持久化。
Driver向Master注册工作流程:
1.用spark-submit提交Application给spark时,会注册Driver。
2.将Driver信息放入内存缓存中(HashMap结构)。
3.加入等待调度队列(ArrayBuffer),并将dirver信息持久化。
Worker向Master注册工作流程:
1.worker启动之后,主动向Master注册。
2.master将状态为DEAD的worker过滤掉,对状态为UNKNOWN的worker清理掉旧的worker信息,替换为新的worker信息。
3.把worker加入内存缓存中(HashMap),并将worker信息进行持久化(文件系统、zookeeper)。
相关文章推荐
- 第35课Spark Master、Worker、Driver、Executor工作流程详解
- 大数据Spark “蘑菇云”行动第35课SparkMaster、Worker、Driver、Executor工作流程详解
- Spark2.2 Worker、Driver和Executor向Master注册原理剖析图解及源码
- Spark源码学习(二)---Master和Worker的启动以及Actor通信流程
- SparkSubmit 提交作业源码流程粗略概述(含application中 driver、client、 executor的创建)
- spark源码学习(二)---Master源码分析(3)-master对driver、executor的调度
- [spark] Standalone模式下Master、WorKer启动流程
- Spark学习之2:Worker启动流程
- [Spark内核] 第32课:Spark Worker原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等
- Spark分析之Master、Worker以及Application三者之间如何建立连接
- 数据处理-Spark Worker工作流程图启动Driver源码解读
- Spark1.3从创建到提交:1)master和worker启动流程源码分析
- spark源码学习(十五)--- application注册机制分析
- spark源码分析Master与Worker启动流程篇
- spark源码学习(三)---worker源码分析-worker启动driver、executor分析
- Spark 角色说明(Client 、Master、Worker、Driver、Executor)
- Spark源码—AKKA驱动下的Driver、Master、Worker
- Spark分析之Master、Worker以及Application三者之间如何建立连接
- Spark集群启动之Master、Worker启动流程源码分析
- Spark学习之1:Master启动流程