您的位置:首页 > 其它

spark core源码分析1 集群启动及任务提交过程

2016-01-29 14:26 681 查看
spark版本号:1.4.1

spark源码分析目的是在解读源码的过程中记录一些重要的步骤,加深自己的印象,或许也可以给别人提供一些帮助。


Standalone集群启动及任务提交过程详解



正常启动及job提交过程如下:

1. 启动master

2. 启动worker

3. 客户端提交application到master

4. master发送LaunchExecutor指令给相应worker

5. worker启动Executor进程

6. Executor将自己注册到driver中

7. 将spark
job分解成多个task发散到各个Executor上运行

之后会将各个部分详细剖析。。。

转载:http://blog.csdn.net/yueqian_zhu/article/details/47903575
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: