hadoop初识之八:NameNode 启动过程和secondaryNameNode 作用
2017-08-15 22:00
459 查看
--=========NameNode启动过程====================
NameNode数据存放在
=》内存
=》本地磁盘
* fsimage:镜像文件(格式化HDFS时生成)
* edits:编辑日志文件,存储元数据的变化信息
过程1:第一次启动HDFS
=>format HDFS
=>生成fsimage
=>start NameNode:read fsimage
=>start DataNode:注册,发送Block report
=>create dir到HDFS :写到edits中
=>put files 到HDFS: 写到edits中 HDFS的源数据会发生变化
=>delete files 删除 写到edits中
过程2:第一次启动HDFS
=>NameNode
* read fsimage
* read edits
* 生成新的fsimage(前两个文件加载到内存,合并前两个文件)
* 生成新的edits(空的)
=>start DataNode:
* 注册
* 发送Block report
=>create dir到HDFS :写到edits中
=>put files 到HDFS: 写到edits中 HDFS的源数据会发生变化
=>delete files 删除 写到edits中
--=========SecondaryNameNode启动过程====================
辅助Namenode
=》本地磁盘
* fsimage:镜像文件(格式化HDFS时生成)
* edits:编辑日志文件,存储元数据的变化信息
* 定期合并生成新的fsimage,并把新的复制到NameNode
--=========NameNode启动过程:安全模式safemode====================
=>作用范围
start DataNode:
* 注册
* 发送Block report
=>作用
* 等待DatasNodes 向它发送Block report
* 当datanodes blocks/total blocks=99.999% 此时安全模式才会退出
=》操作
* 查看文件系统的文件
* 不能改变文件系统的命名空间(创建文件夹,上传文件,删除文件)
=>手动进入安全模式
bin/hdfs dfsadmin -safemode enter/get/leave
NameNode数据存放在
=》内存
=》本地磁盘
* fsimage:镜像文件(格式化HDFS时生成)
* edits:编辑日志文件,存储元数据的变化信息
过程1:第一次启动HDFS
=>format HDFS
=>生成fsimage
=>start NameNode:read fsimage
=>start DataNode:注册,发送Block report
=>create dir到HDFS :写到edits中
=>put files 到HDFS: 写到edits中 HDFS的源数据会发生变化
=>delete files 删除 写到edits中
过程2:第一次启动HDFS
=>NameNode
* read fsimage
* read edits
* 生成新的fsimage(前两个文件加载到内存,合并前两个文件)
* 生成新的edits(空的)
=>start DataNode:
* 注册
* 发送Block report
=>create dir到HDFS :写到edits中
=>put files 到HDFS: 写到edits中 HDFS的源数据会发生变化
=>delete files 删除 写到edits中
--=========SecondaryNameNode启动过程====================
辅助Namenode
=》本地磁盘
* fsimage:镜像文件(格式化HDFS时生成)
* edits:编辑日志文件,存储元数据的变化信息
* 定期合并生成新的fsimage,并把新的复制到NameNode
--=========NameNode启动过程:安全模式safemode====================
=>作用范围
start DataNode:
* 注册
* 发送Block report
=>作用
* 等待DatasNodes 向它发送Block report
* 当datanodes blocks/total blocks=99.999% 此时安全模式才会退出
=》操作
* 查看文件系统的文件
* 不能改变文件系统的命名空间(创建文件夹,上传文件,删除文件)
=>手动进入安全模式
bin/hdfs dfsadmin -safemode enter/get/leave
相关文章推荐
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- 【Hadoop错误】secondarynamenode没有启动
- 在搭建好Hadoop集群后,namenode与datanode两个过程不能起来,或者一个启动之后另一个自动关闭
- hadoop异常--secondarynamenode 启动时 报错
- Hadoop配置启动SecondaryNameNode
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop Secondary NameNode作用
- hadoop2.5.2学习及实践笔记(四)—— namenode启动过程源码概览
- hadoop secondaryNameNode 启动报错
- Hadoop 学习研究(九): NameNode启动过程
- hadoop 2.4.1 secondaryNameNode 配置及启动:
- hadoop secondarynamenode的作用
- Hadoop学习-错误记录:namenode、datanode、secondarynamenode未启动
- hadoop secondarynamenode的作用
- hadoop配置namenode无法启动,secondarynamenode正常启动
- Hadoop中NameNode存储的元数据记录和NameNode的启动过程
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop-namenode启动过程及坏块处理流程