Spark Client和Cluster两种运行模式的工作流程
2018-06-28 20:07
92 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_42425688/article/details/80848435
1.client mode: In client mode, the driver is launched in the same process as the client that submits the application..也就是说在Client模式下,Driver进程会在当前客户端启动,客户端进程一直存在直到应用程序运行结束。工作流程如下: 1.启动master和worker . worker负责整个集群的资源管理,worker负责监控自己的cpu,内存信息并定时向master汇报 2.在client中启动Driver进程,并向master注册 3.master通过rpc与worker进行通信,通知worker启动一个或多个executor进程 4.executor进程向Driver注册,告知Driver自身的信息,包括所在节点的host等 5.Driver对job进行划分stage,并对stage进行更进一步的划分,将一条pipeline中的所有操作封装成一个task,并发送到向自己注册的executor 进程中的task线程中执行 6.应用程序执行完成,Driver进程退出
2.cluster模式:In cluster mode, however, the driver is launched from one of the Worker processes inside the cluster, and the client process exits as soon as it fulfills its responsibility of submitting the application without waiting for the application to finish.也就是说,在cluster模式下,Driver进程将会在集群中的一个worker中启动,而且客户端进程在完成自己提交任务的职责后,就可以退出,而不用等到应用程序执行完毕
工作流程如下: 1.在集群的节点中,启动master , worker进程,worker进程启动成功后,会向Master进行注册。 2.客户端提交任务后,ActorSelection(master的actor引用),然后通过ActorSelection给Master发送注册Driver请求(RequestSubmitDriver) 3.客户端提交任务后,master通知worker节点启动driver进程。(worker的选择是随意的,只要worker有足够的资源即可) driver进程启动成功后,将向Master返回注册成功信息 4.master通知worker启动executor进程 5.启动成功后的executor进程向driver进行注册 6.Driver对job进行划分stage,并对stage进行更进一步的划分,将一条pipeline中的所有操作封装成一个task,并发送到向自己注册的executor 进程中的task线程中执行 7.所有task执行完毕后,程序结束。
通过上面的描述我们知道:Mater负责整个集群的资源的管理和创建worker,worker负责当前结点的资源的管理,并会将当前的cpu,内存等信息定时告知master,并且负责创建Executor进程(也就是最小额资源分配单位),Driver负责整个应用任务的job的划分和stage的切割以及task的切割和优化,并负责把task分发到worker对应的节点的executor进程中的task线程中执行, 并获取task的执行结果,Driver通过SparkContext对象与spark集群获取联系,得到master主机host,就可以通过rpc向master注册自己。
2.cluster模式:In cluster mode, however, the driver is launched from one of the Worker processes inside the cluster, and the client process exits as soon as it fulfills its responsibility of submitting the application without waiting for the application to finish.也就是说,在cluster模式下,Driver进程将会在集群中的一个worker中启动,而且客户端进程在完成自己提交任务的职责后,就可以退出,而不用等到应用程序执行完毕
工作流程如下: 1.在集群的节点中,启动master , worker进程,worker进程启动成功后,会向Master进行注册。 2.客户端提交任务后,ActorSelection(master的actor引用),然后通过ActorSelection给Master发送注册Driver请求(RequestSubmitDriver) 3.客户端提交任务后,master通知worker节点启动driver进程。(worker的选择是随意的,只要worker有足够的资源即可) driver进程启动成功后,将向Master返回注册成功信息 4.master通知worker启动executor进程 5.启动成功后的executor进程向driver进行注册 6.Driver对job进行划分stage,并对stage进行更进一步的划分,将一条pipeline中的所有操作封装成一个task,并发送到向自己注册的executor 进程中的task线程中执行 7.所有task执行完毕后,程序结束。
通过上面的描述我们知道:Mater负责整个集群的资源的管理和创建worker,worker负责当前结点的资源的管理,并会将当前的cpu,内存等信息定时告知master,并且负责创建Executor进程(也就是最小额资源分配单位),Driver负责整个应用任务的job的划分和stage的切割以及task的切割和优化,并负责把task分发到worker对应的节点的executor进程中的task线程中执行, 并获取task的执行结果,Driver通过SparkContext对象与spark集群获取联系,得到master主机host,就可以通过rpc向master注册自己。
相关文章推荐
- Spark Client和Cluster两种运行模式的工作流程
- Spark Client和Cluster两种运行模式的工作流程
- spark on yarn 两种运行模式(client 、cluster)对比
- spark在yarn上面的运行模型:yarn-cluster和yarn-client两种运行模式:
- Spark-2.1.2 Hadoop-2.7.5 spark-submit yarn client cluster两种模式提交
- 内存计算框架Spark学习笔记(4)—— Spark Application 运行的两种方式 Client 和 Cluster
- Spark on yarn client 和cluster模式运行序列图
- 大话Spark(5)-三图详述Spark Standalone/Client/Cluster运行模式
- Spark on yarn有分为两种模式yarn-cluster和yarn-client
- Spark On Yarn的两种模式yarn-cluster和yarn-client深度剖析
- Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
- Spark的运行模式(2)--Yarn-Cluster和Yarn-Client
- Spark基本工作流程及YARN cluster模式原理(读书笔记)
- Spark on YARN cluster & client 模式作业运行全过程分析
- Spark运行模式:cluster与client
- Spark运行模式:cluster与client
- 一 spark on yarn cluster模式提交作业,一直处于ACCEPTED状态,改了Client模式后就正常了
- 从源码角度看Spark on yarn client & cluster模式的本质区别
- Spark on YARN两种运行模式介绍
- AJAX工作模式、XMLHttpRequest对象、运行流程