hadoop2.0之HDFS集群管理:PendingReplicationMonitor
2013-01-03 11:04
543 查看
如果一个数据块需要冗余,会将其加入pendingReplications集合,如果块副本冗余完毕到某DataNode节点,该DN节点会报告给NameNode,然后NameNode从pendingReplications将块删除,如果一致没报告上来,会在一定时间范围内存储在pendingReplications内。pendingReplications为Map<Block,PendingBlockInfo>类型集合,键为PendingBlockInfo类,该类包含了一个正在被冗余的块的信息,包含了系统开始冗余该块副本的时间,也记录了正在处理的块的副本数量,而PendingReplicationMonitor类就负责扫描pendingReplications内冗余请求超时的块,默认扫描周期为5分钟,超时时间也为5分钟,如果PendingReplicationMonitor内记录的时间戳timeStamp超过5分钟,则将该块加入timedOutItems集合,该集合会在后面的ReplicationMonitor管理器用到,会将该集合内存储的块再次放到neededReplications集合里面去。
相关文章推荐
- hadoop2.0之HDFS集群管理:HeartbeatManager及其报告周期问题
- HDFS集群的启动(6)——NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor
- Hadoop NameNode启动之PendingReplicationMonitor(四)
- Hadoop2.0运维管理与集群安装监控和管理
- hadoop2.X之HDFS集群管理:ReplicationMonitor
- RedHadoop创始人童小军在北京开讲“Hadoop2.0集群优化与管理”啦!
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第三门课程:云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
- Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)
- Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析
- HDFS集群的启动(7)——NameNode任务线程之FSNamesystem$ReplicationMonitor
- Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第三门课程:云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
- Hadoop(五)分布式集群中HDFS系统的各种角色
- hadoop集群管理之 Namenode恢复
- hadoop-0.20.2 & hbase-0.90.1 集群启动错误“org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientP
- 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
- 29.Hadoop之HDFS集群搭建笔记
- 从0开始部署hadoop HDFS的HA集群,使用zk实现自动容灾
- 搭建3个节点的hadoop集群(完全分布式部署)5 flume安装及flume导数据到hdfs
- 2014-01-14---Hadoop的基础学习(八)---HDFS的HA机制及Hadoop集群搭建