Hadoop的HDFS中namenode和datenode内容分析
2018-01-09 20:25
232 查看
NameNode:是Master节点,是大领导。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间;
SecondaryNameNode:是一个小弟,分担大哥namenode的工作量;是NameNode的冷备份;合并fsimage和fsedits然后再发给namenode。
DataNode:Slave节点,奴隶,干活的。负责存储client发来的数据块block;执行数据块的读写操作。
热备份:b是a的热备份,如果a坏掉。那么b马上运行代替a的工作。
冷备份:b是a的冷备份,如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息,减少a坏掉之后的损失。
fsimage:元数据镜像文件(文件系统的目录树。)
edits:元数据的操作日志(针对文件系统做的修改操作记录)
namenode内存中存储的是=fsimage+edits。
SecondaryNameNode负责定时默认1小时,从namenode上,获取fsimage和edits来进行合并,然后再发送给namenode。减少namenode的工作量。
下面介绍一下hdfs中namenode和datenode的工作流程:
读取文件时候,读取文件时Namenode尽量让用户先读取最近的副本,降低带块消耗和读取延时。
下面介绍一下写流程:
写流程中注意:
1. 传输通道中以packet为单位传输,一个packet是64K,以packet里的chunk为单位校验;
2. block要有一个成功上传,就算成功了,之后namenode会做异步的同步,每传输一个block都会向namenode请求。
3. 上传数据时,datanode的选择策略:
1)第一个副本先考虑跟client端最近的(同机架)
2)第二个副本再考虑跨机架挑选一个datanode,增加副本的可靠性;
3)第三个副本就在第二个副本同机架另外挑选一个datanode存放;
原理:
NameNode具有RackAware机架感知功能,这个可以配置。
若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机架的另一个节点上;其他副本随机挑选。
若client不为DataNode节点,那存储block时,规则为:副本1,随机选择一个节点上;副本2,不同副本1,机架上;副本3,同副本2相同的另一个节点上;其他副本随机挑选。
4. client向DataNode发送block1;发送过程是以流式写入。
流式写入过程,
1>将64M的block1按64k的package划分;
2>然后将第一个package发送给dn1;
3>dn1接收完后,将第一个package发送给dn2,client想dn1发送第二个package;
4>dn2接收完第一个package后,发送给dn3,同时接收dn1发来的第二个package。
5>以此类推,直到将block1发送完毕。
6>dn1,dn2,dn3向NameNode,dn1向Client发送通知,说“消息发送完了”。
7>client收到dn1发来的消息后,向namenode发送消息,说我写完了。这样就真完成了。
8>发送完block1后,再发送block2。
9>发送完block2后,向Client发送通知
10>client向NameNode发送消息,说我写完了,这样就完毕了。
分析,通过写过程,我们可以了解到:
①写1T文件,我们需要3T的存储,3T的网络流量贷款。
②在执行读或写的过程中,NameNode和DataNode通过HeartBeat进行保存通信,确定DataNode活着。如果发现DataNode死掉了,就将死掉的DataNode上的数据,放到其他节点去。读取时,要读其他节点去。
③挂掉一个节点,没关系,还有其他节点可以备份;甚至,挂掉某一个机架,也没关系;其他机架上,也有备份。
SecondaryNameNode:是一个小弟,分担大哥namenode的工作量;是NameNode的冷备份;合并fsimage和fsedits然后再发给namenode。
DataNode:Slave节点,奴隶,干活的。负责存储client发来的数据块block;执行数据块的读写操作。
热备份:b是a的热备份,如果a坏掉。那么b马上运行代替a的工作。
冷备份:b是a的冷备份,如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息,减少a坏掉之后的损失。
fsimage:元数据镜像文件(文件系统的目录树。)
edits:元数据的操作日志(针对文件系统做的修改操作记录)
namenode内存中存储的是=fsimage+edits。
SecondaryNameNode负责定时默认1小时,从namenode上,获取fsimage和edits来进行合并,然后再发送给namenode。减少namenode的工作量。
下面介绍一下hdfs中namenode和datenode的工作流程:
读取文件时候,读取文件时Namenode尽量让用户先读取最近的副本,降低带块消耗和读取延时。
下面介绍一下写流程:
写流程中注意:
1. 传输通道中以packet为单位传输,一个packet是64K,以packet里的chunk为单位校验;
2. block要有一个成功上传,就算成功了,之后namenode会做异步的同步,每传输一个block都会向namenode请求。
3. 上传数据时,datanode的选择策略:
1)第一个副本先考虑跟client端最近的(同机架)
2)第二个副本再考虑跨机架挑选一个datanode,增加副本的可靠性;
3)第三个副本就在第二个副本同机架另外挑选一个datanode存放;
原理:
NameNode具有RackAware机架感知功能,这个可以配置。
若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机架的另一个节点上;其他副本随机挑选。
若client不为DataNode节点,那存储block时,规则为:副本1,随机选择一个节点上;副本2,不同副本1,机架上;副本3,同副本2相同的另一个节点上;其他副本随机挑选。
4. client向DataNode发送block1;发送过程是以流式写入。
流式写入过程,
1>将64M的block1按64k的package划分;
2>然后将第一个package发送给dn1;
3>dn1接收完后,将第一个package发送给dn2,client想dn1发送第二个package;
4>dn2接收完第一个package后,发送给dn3,同时接收dn1发来的第二个package。
5>以此类推,直到将block1发送完毕。
6>dn1,dn2,dn3向NameNode,dn1向Client发送通知,说“消息发送完了”。
7>client收到dn1发来的消息后,向namenode发送消息,说我写完了。这样就真完成了。
8>发送完block1后,再发送block2。
9>发送完block2后,向Client发送通知
10>client向NameNode发送消息,说我写完了,这样就完毕了。
分析,通过写过程,我们可以了解到:
①写1T文件,我们需要3T的存储,3T的网络流量贷款。
②在执行读或写的过程中,NameNode和DataNode通过HeartBeat进行保存通信,确定DataNode活着。如果发现DataNode死掉了,就将死掉的DataNode上的数据,放到其他节点去。读取时,要读其他节点去。
③挂掉一个节点,没关系,还有其他节点可以备份;甚至,挂掉某一个机架,也没关系;其他机架上,也有备份。
相关文章推荐
- hadoop分析之三org.apache.hadoop.hdfs.server.namenode各个类的功能与角色
- Hadoop源码分析之DateNode的目录构成与类继承结构
- hadoop的hdfs中的namenode和datanode知识总结
- 大数据之路-Hadoop-5-HDFS原理解析及NameNode、DataNode工作机制
- Hadoop的HDFS中的namenode和secondarynamenode的内容总结
- hadoop2之HDFS分析:Client与DataNode流程分析
- datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置
- hadoop源码分析系列(七)——org.apache.hadoop.hdfs包完结篇——dataNode详解及总结
- Hadoop之HDFS架构(NameNode和DataNode)
- hadoop源代码分析(2)-hdfs.server.datanode包-DataXceiverServer类【原创】
- Hadoop源码分析之读文件时NameNode和DataNode的处理过程
- Hadoop的DateNode在NameNode format之后不能启动问题
- hadoop Namenode和DataNode架构分析
- hadoop在put数据时,出现org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException 分析
- Hadoop2源码分析-HDFS datanode核心模块分析
- hadoop分析之三org.apache.hadoop.hdfs.server.namenode各个类的功能与角色
- hadoop2.0的DataNode与NameNode交互机制相关代码分析
- ubuntu安装hadoop注意(datenode连不上namenode)
- Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制
- Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制