Hadoop的Secondary NameNode方案(不是双机热备)
2013-03-20 17:59
447 查看
该方案启动一个Secondary NameNode节点,该节点定期从NameNode节点上下载元数据信息(元数据镜像fsimage 和元数据库操作日志edits),然后将fsimage和edits进行合并,生成新的fsimage(该fsimage就是Secondary NameNode下载时刻的元数据的Checkpoint),在本地保存,并将其推送到NameNode,同时重置NameNode上的edits。
优点
Hadoop自带机制,成熟可靠,使用简单方便,无需开发,配置即可。
Secondaryary NameNode定期做Checkpoint,可保证各个Checkpoint阶段的元数据的可靠性,同时,进行fsimage与edits的合并,可以有效限制edits的大小,防止其无限制增长。
缺点
没有做到热备,当NameNode无法提供服务时,需要重启NameNode,服务恢复时间与文件系统规模大小成正比。
Secondary NameNode保存的只是Checkpoint时刻的元数据,因此,一旦NameNode上的元数据损坏,通过Checkpoint恢复的元数据并不是HDFS此刻的最新数据,存在一致性问题。
文章来自:http://samuschen.iteye.com/blog/1724399
优点
Hadoop自带机制,成熟可靠,使用简单方便,无需开发,配置即可。
Secondaryary NameNode定期做Checkpoint,可保证各个Checkpoint阶段的元数据的可靠性,同时,进行fsimage与edits的合并,可以有效限制edits的大小,防止其无限制增长。
缺点
没有做到热备,当NameNode无法提供服务时,需要重启NameNode,服务恢复时间与文件系统规模大小成正比。
Secondary NameNode保存的只是Checkpoint时刻的元数据,因此,一旦NameNode上的元数据损坏,通过Checkpoint恢复的元数据并不是HDFS此刻的最新数据,存在一致性问题。
文章来自:http://samuschen.iteye.com/blog/1724399
相关文章推荐
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- Hadoop之Secondary NameNode
- Hadoop2.2.0中配置SecondaryNameNode
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- Hadoop之 NameNode---DataNode---SecondaryNameNode
- Hadoop之 NameNode---DataNode---SecondaryNameNode
- hadoop secondaryNameNode 启动报错
- Hadoop NameNode单点问题解决方案之一 AvatarNode
- hadoop 根据SecondaryNameNode恢复Namenode
- hadoop配置namenode无法启动,secondarynamenode正常启动
- hadoop下运行多个SecondaryNameNode的配置
- hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
- Hadoop secondarynamenode两种配置方式
- hadoop secondarynamenode的作用
- Hadoop之 NameNode---DataNode---SecondaryNameNode
- Hadoop之 NameNode---DataNode---SecondaryNameNode
- Hadoop配置启动SecondaryNameNode
- Hadoop之HDFS分布式文件系统NameNode及Secondary NameNode详解
- 配置hadoop环境,jps不显示NameNode和SecondaryNamenode
- hadoop 根据SecondaryNameNode恢复Namenode