spark core源码分析1 集群启动及任务提交过程
2016-01-29 14:26
681 查看
spark版本号:1.4.1
spark源码分析目的是在解读源码的过程中记录一些重要的步骤,加深自己的印象,或许也可以给别人提供一些帮助。
正常启动及job提交过程如下:
1. 启动master
2. 启动worker
3. 客户端提交application到master
4. master发送LaunchExecutor指令给相应worker
5. worker启动Executor进程
6. Executor将自己注册到driver中
7. 将spark
job分解成多个task发散到各个Executor上运行
之后会将各个部分详细剖析。。。
转载:http://blog.csdn.net/yueqian_zhu/article/details/47903575
spark源码分析目的是在解读源码的过程中记录一些重要的步骤,加深自己的印象,或许也可以给别人提供一些帮助。
Standalone集群启动及任务提交过程详解
正常启动及job提交过程如下:
1. 启动master
2. 启动worker
3. 客户端提交application到master
4. master发送LaunchExecutor指令给相应worker
5. worker启动Executor进程
6. Executor将自己注册到driver中
7. 将spark
job分解成多个task发散到各个Executor上运行
之后会将各个部分详细剖析。。。
转载:http://blog.csdn.net/yueqian_zhu/article/details/47903575
相关文章推荐
- opengl学习资料 -- 网址
- Hyper-V File Server 文件共享服务器
- 张小龙的饭否遭网民围观
- 张小龙的饭否遭网民围观
- iOS之轻松上手block(下)
- git管理 回到之前版本服务器 有错误信息 强制推送
- php安装mongodb扩展
- linux下trash替换掉rm
- cannot set user id Resource temporarily unavailable故障解决
- webdriver——操作浏览器之最大化
- [LINK]常用移动web开发框架研究分析
- 2016年1月29日报
- 寻找旋转有序数组的最小值
- 安卓中dp,dip,dpi关系
- Java GC专家系列4:Apache的MaxClients设置及其对Tomcat Full GC的影响
- 巧用border特性实现聊天气泡效果
- phantomjs入门
- java JDK 安装 、 环境变量配置 及 问题分析
- 用黑客思维做测试——神器 Xposed 框架介绍
- git 使用技巧