您的位置:首页 > 其它

yarn对mrv1的修改主要包括以下几个方面

2016-05-27 11:54 239 查看
1、将jobTracker中的作业控制(如作业创建、监控作业运行状态等)部分拆分出来。按照规范实现mapreduce计算空间的applicationmaster mrappmaster

2、tasktracker的部分通过由模块 taskattemptlistenerimple完成

3、利用状态机重写jobinprogreess类,其主要功能由jobimple完成

4、利用状态机重写taskinprogess累,其主要功能由maptaskimple reducetaskimple完成

新的mapreduce计算框架的的所有功能都浓缩在mrappmaster中,其主要架构如图

主要由几个模块组成

containerallocator  containerallocator负责将map task 和reduce task 需要的资源转化为resuoucenanager可以识别的表现形式。

每天  7866M = 7.8G 

每天7.68G  * 90天=   691G  这么多G 还算好,不是很多。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: