NameNode&Secondary NameNode工作机制
2019-10-06 23:06
330 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Jackson_mvp/article/details/102260556
NameNode&Secondary NameNode工作机制图解:
第一阶段:namenode启动
(1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志(edits)和镜像文件(fsimage)到内存
(2)客户端对元数据进行增删改的请求
(3)namenode记录操作日志,更新滚动日志
(4)namenode在内存中对数据进行增删改查
第二阶段:Secondary NameNode工作
(1)Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。
(2)Secondary NameNode请求执行checkpoint。
(3)namenode滚动正在写的edits日志
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode
(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
(6)生成新的镜像文件fsimage.chkpoint
(7)拷贝fsimage.chkpoint到namenode
(8)namenode将fsimage.chkpoint重新命名成fsimage
3.chkpoint检查时间参数设置
(1)通常情况下,SecondaryNameNode每隔一小时执行一次。
(2)一分钟检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode执行一次。
相关文章推荐
- NameNode&Secondary NameNode的工作机制
- HDFS(六):NameNode&&SecondaryNameNode工作机制详解
- Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明
- 手绘HDFS中NameNode和DataNode以及SecondaryNameNode工作机制(原理)
- NameNode工作机制和DataNode副本工作机制
- HDFS中NameNode和Secondary NameNode
- SecondaryNameNode--Failed to start secondary namenode
- Hadoop中namenode和secondarynamenode工作机制讲解
- Hadoop中的Namenode、Datanode和Secondary Namenode
- Hadoop中SecondaryNameNode工作机制
- SecondaryNameNode(2NN)工作机制
- SecondaryNameNode对NameNode的checkpoint流程的源码分析
- 大数据之路-Hadoop-5-HDFS原理解析及NameNode、DataNode工作机制
- 看了包懂SecondaryNamenode的工作机制
- Hadoop的namenode的管理机制,工作机制和datanode的工作原理
- NameNode & DataNode工作机制
- hadoop之NameNode,DataNode,Secondary NameNode
- hadoop NameNode和SecondaryNameNode 工作机制
- WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null异常会导致secondarynamenode守护进程无法开启
- HDFS的写(读)数据流程、namenode和datanode工作机制总结