您的位置:首页 > 运维架构

hdfs 元数据维护机制

2016-04-18 20:49 330 查看
所谓元数据(Metadata)就是指数据的数据。HDFS的元数据就是指维护HDFS文件系统中的文件和目录所需要的信息。

从形式上讲,元数据可分为内存元数据和元数据文件两种。其中NameNode在内存中维护整个文件系统的元数据镜像,用于HDFS的管理;元数据文件则用于持久化存储。

从类型上讲,元数据有三类重要信息:

 第一类是文件和目录自身的属性信息,例如文件名、目录名、父目录信息、文件大小、创建时间、修改时间等。

第二类记录文件内容存储相关信息,例如文件分块情况、副本个数、每个副本所在的DataNode信息等。

第三类用来记录HDFS中所有DataNode的信息,用于DataNode管理。

从来源上讲,元数据主要来源于NameNode磁盘上的元数据文件(它包括元数据镜像fsimage和元数据操作日志edits两个文件)以及各个DataNode的上报信息。

HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制

FSImage和edits的checkPoint。FSImage有2个状态,分别是FsImage和FsImage.ckpt,后者表示正在checkpoint的过程中,上传后将会修改为FSImage文件,同理edits也有两个状态,edits和edits.new
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: