Omega系统简介
1.背景
Google的论文Omega:flexible,scalable schedulers for large compute clusters中把调度分为3代:第一代是独立的集群;第二代是两层调度(Mesos,YARN);第三代是共享状态调度,如图9.3所示。
图9.3
2.架构
为了克服双层调度器的局限性,Google开发了下一代资源管理系统Omega。Omega是一种基于共享状态的调度器,该调度器将双层调度器中的集中式资源调度模块简化为一些持久化的共享数据(状态)和针对这些数据的验证代码,而这里的“共享数据”实际上就是整个集群的实时资源使用信息。一旦引入共享数据,共享数据的并发访问方式就成为该系统设计的核心。而Omega则采用传统数据库中基于多版本的并发访问控制方式(也称为“乐观锁”,Multi-Version Concurrency Control,MVCC),大大提升了Omega的并发性。由于Omega不再有集中式的调度模块,因此,不能像Mesos或者YARN那样,在一个统一模块中完成以下功能:对整个集群中的所有资源分组;限制每类应用程序的资源使用量;限制每个用户的资源使用量等。这些功能全部由各个应用程序调度器自我管理和控制。根据论文所述,Omega只是将优先级这一限制放到了共享数据的验证代码中,即当多个应用程序同时申请同一份资源时,优先级最高的那个应用程序将获得该资源,其他资源限制全部下放到各个子调度器。引入多版本并发控制后,限制该机制性能的一个因素是资源访问冲突的次数,冲突次数越多,系统性能下降得越快。而Google通过实际负载测试证明,这种方式的冲突次数是完全可以接受的。该论文中还谈道,Omega是从Google现有系统中演化而来的。虽然这篇论文只介绍了Omega的调度器架构,但我们可以推测它的整体架构类似于Mesos。因此,如果你了解Mesos,则通过修改Mesos的Master就可以将它改造成一个Omega。
3.优缺点
(1)优点:共享资源状态,支持更大的集群和更高的并发。
(2)缺点:只有论文,无具体实现,在小集群下没有优势。
更详细的信息,大家去看论文吧:)
- 日志收集系统简介
- 嵌入式Linux系统的Bootloader简介
- 嵌入式Linux文件系统简介
- WinFS 101:新型 Windows 文件系统简介
- Netflix Conductor流程系统(一):简介
- Window Presentation Foundation系列(3)---布局系统简介
- 国内外优秀呼叫中心系统简介
- 即将推出的佰志达SBO网上商城系统 Ver 1.02功能简介
- 什么是Linux系统,Linux与UNIX系统区别和Linux的创始人简介
- 奇异值分解SVD简介及其在推荐系统中的简单应用
- Android 广播BroadcastReceiver静态/动态注册,获取系统电量广播【开机广播】,获取网络状态广播,Timer的使用简介
- YAFFS文件系统简介
- 简介Django的用户及权限系统
- Android 系统Handler用法简介
- PHP执行系统命令简介
- S5PV210的时钟系统简介
- Qt的元对象(Meta-Object)系统简介
- Windows用户认证系统之Gina、CP和pGina简介(一)
- ERP系统简介
- Linux音频驱动-OSS和ALSA声音系统简介及其比较