Spark on YARN的两种运行模式
2015-11-01 17:56
666 查看
Spark on YARN有两种运行模式,如下
1、yarn-cluster:适合于生产环境。
Spark的Driver运行在ApplicationMaster中,它负责向YARN ResourceManager申请资源,并监督作业的运行状况。当用户提交了作业之后,
就可以关掉Client(启动Spark作业的客户端不需要一直存在于整个Spark作业运行生命周期),作业会继续在YARN上运行。yarn-cluster不适合
交互式应用。
2、yarn-client:适合于交互式应用、调试查看输出。
Spark的Driver运行在初始化Spark作业的客户端中,例如在用户输入或调试时,需要Spark作业的Driver运行在初始化作业的客户端进程中。这时候ApplicationMaster只是从
YARN中请求Executor,客户端会和请求的Container通信来调度作业。发行版的Spark二进制包中的bin/spark-shell就是一个很好交互式工具。
这两种模式主要区别在于任务调度taskschedule的区别,yarn-client是将任务调度的功能放在客户端,而yarn-cluster将任务放在资源管理器中。
参考官方文献:http://spark.apache.org/docs/latest/running-on-yarn.html
1、yarn-cluster:适合于生产环境。
Spark的Driver运行在ApplicationMaster中,它负责向YARN ResourceManager申请资源,并监督作业的运行状况。当用户提交了作业之后,
就可以关掉Client(启动Spark作业的客户端不需要一直存在于整个Spark作业运行生命周期),作业会继续在YARN上运行。yarn-cluster不适合
交互式应用。
2、yarn-client:适合于交互式应用、调试查看输出。
Spark的Driver运行在初始化Spark作业的客户端中,例如在用户输入或调试时,需要Spark作业的Driver运行在初始化作业的客户端进程中。这时候ApplicationMaster只是从
YARN中请求Executor,客户端会和请求的Container通信来调度作业。发行版的Spark二进制包中的bin/spark-shell就是一个很好交互式工具。
这两种模式主要区别在于任务调度taskschedule的区别,yarn-client是将任务调度的功能放在客户端,而yarn-cluster将任务放在资源管理器中。
参考官方文献:http://spark.apache.org/docs/latest/running-on-yarn.html
相关文章推荐
- In Action(最短路+01背包)
- Leetcode Algorithm No.268 Missing Number
- vs2010下Release版本调试代码设置
- ArrayQueue实现
- [leetcode 110]Balanced Binary Tree
- 常用的OpenCV函数速查
- 广义表算法库及其应用(1)——建立广义表算法库
- java中的302和sendRedirect的区别
- Spring学习笔记(二)
- Python使用urllib2 POST数组
- ubuntu,django-admin.py
- 今天你慕课了吗?
- 关于c中的%x及其它格式化符
- mysql创建修改删除表和库
- 检测出图片中的直线且标记出图片中的最长线段
- Java中的菜单
- 读‘Web前端开发工程师编程能力飞升之路’感触
- Http的使用及XML和JSON数据解析
- MVC怎么在当前视图中,传递参数给到另外一个视图?
- 链接样式表和导入样式区别