您的位置:首页 > 其它

008-spark 的调度

2015-09-01 20:15 204 查看
系统的设计很重要的一个环节就是资源调度。设计者将资源进行不同粒度的抽象建模,然后将资源统一放入调度器,通过一定的算法进行调度,最终要达到高吞吐或者低延迟的目的。

Application调度就是由用户提交到Spark中的作业集合,通过一定的算法,对每个按照一定次序分配集群中资源的过程。
例如:FIFO模式,用户先提交的作业1优先分配需要的资源,之后提交的作业2再分配资源,以此类推。

Application调度模式:
(1)Standalone 模式: FIFO模式
(2)Mesos:粗粒度模式和细粒度模式
(3)YARN:独占模式

Job调度
Job调度就是在Application一组Job集合,在Application分配到的资源量下,通过一定的算法,对每个按一定次序分配的Application中资源的过程。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: