hadoop的守护进程简单介绍

守护进程

在上一篇文章中我写了如何搭建单节点的hadoop，在搭建完成后，我们通过jps查看了hadoop 的进程，一共有五个，他们分别是：

NameNode

DataNode

SecondaryNameNode

ResourceManager

NodeManager

NameNode

hdfs有两个核心，namenode就是其中的主节点，他就像一个领导者，负责协调和分配各项工作和任务。

简单的说他的功能主要有三点：

管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等）

维护文件到块的对应关系和块到节点的对应关系（维护目录树）

维护用户对文件的操作信息（文件的增删改查）

DataNode

hdfs的另一个核心，从节点，通常是有多个组成。它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个 datanode 守护进程。

SecondaryNameNode

一个被命名忽悠的模块。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。称其为检查节点更为合适，因为他是提供周期检查和清理的。

可以参考此文对其工作原理进一步了解：

https://blog.csdn.net/xh16319/article/details/31375197

ResourceManager

ResourceManager是整个YARN集群中最重要的组件之一，负责集群中所有资源的统一管理和分配，它接受来自各个节点(NodeManager)的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(即ApplicationMaster)。

主要有以下功能：

处理来自客户端的请求。

启动和管理ApplicatinMaster,并在它运行失败时重新启动它。

管理NodeManager，接受来自NodeManager的资源管理汇报信息，并向NodeManager下达管理命令。

资源管理与调度，接收来自ApplicationMaster的资源申请请求，并为之分配资源（核心）。

可以参考此文对其工作原理进一步了解：

https://blog.csdn.net/zhangzhebjut/article/details/37730065

NodeManager

NodeManager是执行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包含与ResourceManager保持通信等。

END!