hadoop 学习总结系列 （一）

版本 2.8



ResourceManager: RM

ApplicationManager: AM

NodeManager :NM

RM 是一个资源管理和调度器。 一个集群只有一个。

发布一个yarn application 的流程是：

yarn client 和RM 通信，创建AM ，AM是RM 创建的并且也是一个container。

AM 和RM 通信创建 NM，

AM是yarn application 的 master process , 但是具体的application 的运行是由 NM 创建的 container 实现的。AM 负责application的容错机制，比如失败是否重新运行等。

NM 是RM 的代理，负责创建container 的创建，并把 container信息反馈给RM ，RM 也可以把信息反馈给AM。

所以要运行一个yarn application 首先要开启一个RM ，否则，会报错

8032端口不能访问， 一直重试，报错

此时还需要开启一个NM ，因为NM 负责创建具体的container ，container 才是程序运行的地方。

如果不开启NM ，则提交的application 会处于一直等待状态，因为RM虽然接受了运行请求，却需要NM 进行container的分配，并运行。

所以运行一个yarn application 需要3步：

1.

yarn  resourcemanager

2.

yarn nodemanager

3.

yarn application_command