HADOOP YARN(一)
2019-01-14 21:44
597 查看
HADOOP YARN是什么?
Yarn全称是Yet Another Resource Negotiator(资源管理器)
基本概念
Container 容器是Yarn对资源的一层抽象。(CPU核数,内存等计算资源) 容器由NodeManager启动和管理,并被它所监控 容器由ResureceManager调度 ResourceManager(RM)负责资源管理,包含定时调度器(scheduler)和应用管理器(ApplicationManager) 调度器向分配资源,应用管理器监控应用程序。 ApplicationMaster 每提交一个作业,Appmaster向Resourcemanager申请资源,获得资源后将运行的程序发送到容器启动。(数据不动,程序动) Nodemanager 负责容器的管理,监控资源的使用情况,向ResourceManager提供资源的使用报告。
程序提交流程
1. Client向Yarn提交Application 2. ResourceManager向NodeManager通信,为Appmaster分配第一个容器 3. Appmaster对作业进行拆分,向ResourceManager申请容器 4. Appmaster与NodeManager通信,将作业分发到容器中。 5. 容器向Appmaster发送心跳 6. 程序结束,Appmaster向ResourceManager注销资源
相关文章推荐
- 分享:下一代 Hadoop YARN 简介:相比于MRv1,YARN的优势
- Hadoop YARN安装部署初探
- Hadoop Yarn(一)—— 单机伪分布式环境安装
- Hadoop 2.2 YARN分布式集群搭建配置流程
- Hadoop YARN常见问题以及解决方案
- Hadoop 新 MapReduce 框架 Yarn 详解
- Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数
- [Hadoop]Hadoop YARN的发展史与详细解析
- hadoop2的automatic HA+Federation+Yarn配置的教程
- Hadoop 新 MapReduce 框架 Yarn 详解
- Hadoop - YARN 概述
- Hadoop2.6集群环境搭建(HDFS HA+YARN)
- # Apache Hadoop Yarn: Yet Another Resource Negotiator论文解读
- Hadoop YARN的发展史与详细解析
- Hadoop数据操作系统中YARN全解析
- 论文阅读笔记 - YARN : Architecture of Next Generation Apache Hadoop MapReduceFramework
- Hadoop yarn 入门知识
- Hadoop yarn 详解
- Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置
- Kerberos(1.9)Apache Hadoop(2.0.3 Yarn) 配置