DATANODE的工作机制
2019-02-20 17:57
246 查看
转自 https://www.geek-share.com/detail/2721634318.html
DATANODE的工作机制 问题场景: 1、集群容量不够,怎么扩容? 2、如果有一些datanode宕机,该怎么办? 3、datanode明明已启动,但是集群中的可用datanode列表中就是没有,怎么办?1 概述 1、Datanode工作职责: 存储管理用户的文件块数据 定期向namenode汇报自身所持有的block信息(通过心跳信息上报) (这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题)
<property> <name>dfs.blockreport.intervalMsec</name> <value>3600000</value> <description>Determines block reporting interval in milliseconds.</description></property> |
<property> <name>heartbeat.recheck.interval</name> <value>2000</value></property> <property> <name>dfs.heartbeat.interval</name> <value>1</value></property> |
数据完整性
1)当DataNode读取block的时候,它会计算checksum 2)如果计算后的checksum,与block创建时值不一样,说明block已经损坏。 3)client读取其他DataNode上的block. 4)datanode在其文件创建后周期验证checksum相关文章推荐
- NameNode工作机制和DataNode副本工作机制
- NameNode和DataNode工作机制
- Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明
- 大数据之路-Hadoop-5-HDFS原理解析及NameNode、DataNode工作机制
- Hadoop的namenode的管理机制,工作机制和datanode的工作原理
- HDFS的写(读)数据流程、namenode和datanode工作机制总结
- hadoop DataNode 工作机制
- Hadoop之DataNode工作流程
- NameNode机制和DataNode机制
- Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制
- Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制
- 动态上下线datanode节点及副本均衡机制
- DataNode与NameNode交互机制相关代码分析 推荐
- hadoop2.0的DataNode与NameNode交互机制相关代码分析
- Hadoop中DataNode与NameNode之间的心跳机制
- Hadoop DataNode不能正常工作的原因
- Hadoop DataNode不能正常工作的原因
- NameNode和DataNode通信机制
- MRv2 工作机制 、 公平调度器、MR压缩、边数据
- 基于JAVA的WEB服务器工作机制(1)