008-spark 的调度
2015-09-01 20:15
204 查看
系统的设计很重要的一个环节就是资源调度。设计者将资源进行不同粒度的抽象建模,然后将资源统一放入调度器,通过一定的算法进行调度,最终要达到高吞吐或者低延迟的目的。
Application调度就是由用户提交到Spark中的作业集合,通过一定的算法,对每个按照一定次序分配集群中资源的过程。
例如:FIFO模式,用户先提交的作业1优先分配需要的资源,之后提交的作业2再分配资源,以此类推。
Application调度模式:
(1)Standalone 模式: FIFO模式
(2)Mesos:粗粒度模式和细粒度模式
(3)YARN:独占模式
Job调度
Job调度就是在Application一组Job集合,在Application分配到的资源量下,通过一定的算法,对每个按一定次序分配的Application中资源的过程。
Application调度就是由用户提交到Spark中的作业集合,通过一定的算法,对每个按照一定次序分配集群中资源的过程。
例如:FIFO模式,用户先提交的作业1优先分配需要的资源,之后提交的作业2再分配资源,以此类推。
Application调度模式:
(1)Standalone 模式: FIFO模式
(2)Mesos:粗粒度模式和细粒度模式
(3)YARN:独占模式
Job调度
Job调度就是在Application一组Job集合,在Application分配到的资源量下,通过一定的算法,对每个按一定次序分配的Application中资源的过程。
相关文章推荐
- 测试SQL Server 2000数据库连接
- oracle快速复制表数据
- SPFA/Dijkstra POJ 3159 Candies
- Andrioid开发过程中关于IntentService的问题
- oracle11g dataguard安装实施
- 007-spark的wordCount
- 机器学习 径向基(Radial basis function)与RBF核函数 浅析
- 算法:插入排序
- HTTP请求头和响应头总结
- 从上往下打印二叉树(分层遍历)
- OPS - add pubkey to the server with script
- ZOJ2321解题报告
- codeforces 337E E. Divisor Tree(数论+贪心)
- EasyX
- 005-spark standalone模式安装
- hihocoder1224
- 【工业串口和网络软件通讯平台(SuperIO)教程】九.重写通讯接口函数,实现特殊通讯方式
- 人工智能学习梵高,毕加索风格,画出的世界名画是什么样子
- MyBatis——日志
- 外碎片与内碎片