HDFS元数据管理
2015-07-10 14:59
253 查看
NameNode将文件系统的元数据以不同的文件保存在本地磁盘中,其中最重要的两个文件是fsimage和edits。fsimage包含文件系统元数据的完整快照,而edits仅包含元数据的增量修改。
NameNode启动后,直接加载fsimage到RAM,再通过回放引入edits的增量变化。
NameNode与SecondaryNameNode之间交互定期将edits引入fsimage:
SecondaryNameNode引导NameNode滚动更新edits文件,并开始将新的内容写入edits.new
SecondaryNameNode将NameNode的fsimage和edtis文件复制到本地的检查点目录
SecondaryNameNode载入fsimage文件,回放edits内容,将其合并到fsimage,将新的fsimage文件压缩后写入磁盘
SecondaryNameNode将新的fsimage文件送回NameNode,NameNode在接收新的fsimage文件后直接加载和应用该文件
NameNode将edits.new更名为edits
默认情况下,该过程每小时执行一次,或者当NameNode的edits文件达到默认的64MB时也会被触发
NameNode启动后,直接加载fsimage到RAM,再通过回放引入edits的增量变化。
NameNode与SecondaryNameNode之间交互定期将edits引入fsimage:
SecondaryNameNode引导NameNode滚动更新edits文件,并开始将新的内容写入edits.new
SecondaryNameNode将NameNode的fsimage和edtis文件复制到本地的检查点目录
SecondaryNameNode载入fsimage文件,回放edits内容,将其合并到fsimage,将新的fsimage文件压缩后写入磁盘
SecondaryNameNode将新的fsimage文件送回NameNode,NameNode在接收新的fsimage文件后直接加载和应用该文件
NameNode将edits.new更名为edits
默认情况下,该过程每小时执行一次,或者当NameNode的edits文件达到默认的64MB时也会被触发
相关文章推荐
- hadoop的hdfs文件操作实现上传文件到hdfs
- java连接hdfs ha和调用mapreduce jar示例
- java实现将ftp和http的文件直接传送到hdfs
- 在Hadoop2.5.0下利用Java读写HDFS
- HDFS 文件操作
- 读<王垠:一种新的操作系统设计>
- hadoop中RPC通信文件上传原理
- 测试Hadoop的hdfs的问题?
- 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
- #Note# Analyzing Twitter Data with Apache Hadoo...
- HDFS Federation(HDFS 联盟)介绍
- HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)
- HDFS文件系统和OpenStack swift对象存储有何不同
- Hadoop分布式文件系统和OpenStack对象存储有何不同
- Hadoop
- HDFS: NameNode 和 DataNode
- hdfs 添加DataNode
- 部署hdfs
- HDFS ---- Services startup
- HDFS --- DataNode startup service initialize