yarn对mrv1的修改主要包括以下几个方面
2016-05-27 11:54
239 查看
1、将jobTracker中的作业控制(如作业创建、监控作业运行状态等)部分拆分出来。按照规范实现mapreduce计算空间的applicationmaster mrappmaster
2、tasktracker的部分通过由模块 taskattemptlistenerimple完成
3、利用状态机重写jobinprogreess类,其主要功能由jobimple完成
4、利用状态机重写taskinprogess累,其主要功能由maptaskimple reducetaskimple完成
新的mapreduce计算框架的的所有功能都浓缩在mrappmaster中,其主要架构如图
主要由几个模块组成
containerallocator containerallocator负责将map task 和reduce task 需要的资源转化为resuoucenanager可以识别的表现形式。
每天 7866M = 7.8G
每天7.68G * 90天= 691G 这么多G 还算好,不是很多。
2、tasktracker的部分通过由模块 taskattemptlistenerimple完成
3、利用状态机重写jobinprogreess类,其主要功能由jobimple完成
4、利用状态机重写taskinprogess累,其主要功能由maptaskimple reducetaskimple完成
新的mapreduce计算框架的的所有功能都浓缩在mrappmaster中,其主要架构如图
主要由几个模块组成
containerallocator containerallocator负责将map task 和reduce task 需要的资源转化为resuoucenanager可以识别的表现形式。
每天 7866M = 7.8G
每天7.68G * 90天= 691G 这么多G 还算好,不是很多。
相关文章推荐
- Linux下开源实时日志分析elk部署详解
- 用户密码加盐加密
- 前端页面报错:ERR_CONTENT_LENGTH_MISMATCH
- pyhton实现欧拉计划28题
- 文章标题
- java基础--枚举的运用
- 组合模式(Composite)——Java
- file:/D:/Tomcat%206.0/webapps/Struts2UserLogin/WEB-INF/classes/struts.xml:3:8
- linux下添加新用户和用户添加到组
- 类加载机制
- IIS 连接 oracle报Oracle.DataAccess版本错误解决办法
- Django基础(四)
- 配置tomcat的https通信(单向认证)
- SystemServer vs ServiceManager
- 【GDOI2016】SigmaGo 题解
- Nginx/ZooKeeper 负载均衡的差异
- Java 求一周前时间
- mysql转sqlserver
- 随手记一下,怕忘了~Matlab画图坐标轴取消科学计数法,
- 柴俊理金:库存下降原油反攻,鹰派刺激金银承压