NameNode,SecondaryNameNode与Datanode文件详解
2015-07-28 11:22
656 查看
HDFS流程图详解
Namenode所存储信息
SecondaryNameNode
HA的一个解决方案。但不支持热备。配置即可。
执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage.
默认在安装在NameNode节点上,但这样…不安全!
Datanode
1:提供真实文件数据的存储服务。
2:文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.
3:不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
4:Replication。多复本。默认是三个。
Namenode所存储信息
1. NN是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求 2. 文件包括: fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 3. fstime:保存最近一次checkpoint的时间 以上这些文件是保存在linux的文件系统中。(1:fs.checkpoint.period 指定两次checkpoint的最大时间间隔,默认3600秒。 :2:fs.checkpoint.size 规定edits文件的最大值,一旦超过这个值则强制checkpoint,不管是否到达最大时间间隔。默认大小是64M。)
1:Namenode始终在内存中保存metedata,用于处理“读请求” 2:到有“写请求”到来时,namenode会首先写editlog到磁盘,即向edits文件中写日志,成功返回后,才会修改内存,并且向客户端返回 3:Hadoop会维护一个fsimage文件,也就是namenode中metedata的镜像,但是fsimage不会随时与namenode内存中的metedata保持一致,而是每隔一段时间通过合并edits文件来更新内容。Secondary namenode就是用来合并fsimage和edits文件来更新NameNode的metedata的。 4:Secondary namenode在hadoop2.X不存在
SecondaryNameNode
HA的一个解决方案。但不支持热备。配置即可。
执行过程:从NameNode上下载元数据信息(fsimage,edits),然后把二者合并,生成新的fsimage,在本地保存,并将其推送到NameNode,替换旧的fsimage.
默认在安装在NameNode节点上,但这样…不安全!
Datanode
1:提供真实文件数据的存储服务。
2:文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.
3:不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
4:Replication。多复本。默认是三个。
相关文章推荐
- Swap Nodes in Pairs
- LeetCode Reverse Nodes in k-Group 每k个节点为一组,反置链表
- nodeJs npm包发布
- nodeJs 制作全局命令
- Remove Nth Node From End of List
- nodeJs 使用npm把模块设置成全局命令后报错
- 带你入门带你飞Ⅱ 使用Mocha + Chai + SuperTest测试Restful API in node.js
- Hadoop启动时报错:Incorrect configuration: namenode address dfs.namenode.servicerpc-address or...
- 在 Ubuntu 9.10 操作系统中安装 MonoDevelop 2.2
- NameNode HA(翻译)
- node.js中log4js的使用
- Leetcode25 Reverse Nodes in k-Group
- 刨根问底(二):从INode客户端看如何培养兴趣 (续)
- 基于Nodejs的BigPipe实现
- node-webkit 拖动效果和问题
- LeetCode 之 Delete Node in a Linked List — C++ 实现
- 在Netbeans IDE上安装node.js
- 玩转Nodejs的集群
- 玩转Nodejs的集群
- manbook pro和inode联网