您的位置:首页 > Web前端 > Node.js

hadoop初识之八:NameNode 启动过程和secondaryNameNode 作用

2017-08-15 22:00 459 查看
--=========NameNode启动过程====================

NameNode数据存放在

   =》内存

   =》本地磁盘

       * fsimage:镜像文件(格式化HDFS时生成)
  * edits:编辑日志文件,存储元数据的变化信息

过程1:第一次启动HDFS

   =>format HDFS

   =>生成fsimage

   =>start NameNode:read fsimage

   =>start DataNode:注册,发送Block report

   =>create dir到HDFS :写到edits中

   =>put files 到HDFS:  写到edits中 HDFS的源数据会发生变化

   =>delete files 删除              写到edits中 

过程2:第一次启动HDFS

   =>NameNode

      * read fsimage
 * read edits
 * 生成新的fsimage(前两个文件加载到内存,合并前两个文件)
 * 生成新的edits(空的)

   =>start DataNode:

      * 注册
 * 发送Block report

   =>create dir到HDFS :写到edits中

   =>put files 到HDFS:  写到edits中 HDFS的源数据会发生变化

   =>delete files 删除              写到edits中 

--=========SecondaryNameNode启动过程====================   

辅助Namenode

   =》本地磁盘

       * fsimage:镜像文件(格式化HDFS时生成)
  * edits:编辑日志文件,存储元数据的变化信息
  * 定期合并生成新的fsimage,并把新的复制到NameNode

--=========NameNode启动过程:安全模式safemode====================

   =>作用范围

      start DataNode:

        * 注册
   * 发送Block report

   =>作用

      * 等待DatasNodes 向它发送Block report
 * 当datanodes blocks/total blocks=99.999% 此时安全模式才会退出

   =》操作

      * 查看文件系统的文件
 * 不能改变文件系统的命名空间(创建文件夹,上传文件,删除文件)

   =>手动进入安全模式

      bin/hdfs dfsadmin -safemode enter/get/leave
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: