hdfs 元数据维护机制
2016-04-18 20:49
330 查看
所谓元数据(Metadata)就是指数据的数据。HDFS的元数据就是指维护HDFS文件系统中的文件和目录所需要的信息。
从形式上讲,元数据可分为内存元数据和元数据文件两种。其中NameNode在内存中维护整个文件系统的元数据镜像,用于HDFS的管理;元数据文件则用于持久化存储。
从类型上讲,元数据有三类重要信息:
第一类是文件和目录自身的属性信息,例如文件名、目录名、父目录信息、文件大小、创建时间、修改时间等。
第二类记录文件内容存储相关信息,例如文件分块情况、副本个数、每个副本所在的DataNode信息等。
第三类用来记录HDFS中所有DataNode的信息,用于DataNode管理。
从来源上讲,元数据主要来源于NameNode磁盘上的元数据文件(它包括元数据镜像fsimage和元数据操作日志edits两个文件)以及各个DataNode的上报信息。
HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制
FSImage和edits的checkPoint。FSImage有2个状态,分别是FsImage和FsImage.ckpt,后者表示正在checkpoint的过程中,上传后将会修改为FSImage文件,同理edits也有两个状态,edits和edits.new
从形式上讲,元数据可分为内存元数据和元数据文件两种。其中NameNode在内存中维护整个文件系统的元数据镜像,用于HDFS的管理;元数据文件则用于持久化存储。
从类型上讲,元数据有三类重要信息:
第一类是文件和目录自身的属性信息,例如文件名、目录名、父目录信息、文件大小、创建时间、修改时间等。
第二类记录文件内容存储相关信息,例如文件分块情况、副本个数、每个副本所在的DataNode信息等。
第三类用来记录HDFS中所有DataNode的信息,用于DataNode管理。
从来源上讲,元数据主要来源于NameNode磁盘上的元数据文件(它包括元数据镜像fsimage和元数据操作日志edits两个文件)以及各个DataNode的上报信息。
HDFS实现时,没有采用定期导出元数据的方法,而是采用元数据镜像文件(FSImage)+日子文件(edits)的备份机制
FSImage和edits的checkPoint。FSImage有2个状态,分别是FsImage和FsImage.ckpt,后者表示正在checkpoint的过程中,上传后将会修改为FSImage文件,同理edits也有两个状态,edits和edits.new
相关文章推荐
- ns3中路由协议仿真的shell脚本编写
- crontab--定时器命令
- Linux文件第二扩展文件系统属性
- 我的Linux日常命令
- WEB网站常见的受攻击方式及预防手段
- Hadoop 1.x MapReduce最小驱动配置
- HADOOP 分布模式
- 每天一个linux命令-grep
- Linux下部署Java,Tomcat环境
- ORA-28009:connection as SYS should be as SYSDBA OR SYSOPER
- Linux的原子操作与同步机制
- Linux/Windows 环境下openGL开发环境问题集锦
- PAT (Advanced Level) Practise 1114 Family Property (25) 并查集orDFS
- Docker - 复制文件到虚拟机
- Linux的查找命令
- shell中的IFS和$*变量
- dmalloc arm-linux平台使用
- 应用 Valgrind 发现 Linux 程序的内存问题及交叉编译for arm
- 告诉你Hadoop是什么 [转]
- linux下dd命令详解及应用实例