hadoop-2.3 HA(QJM方式)实践结论
2014-07-19 21:09
295 查看
一幅图瞬间明白:什么是HA方案
本人试验环境:两台虚拟机
系统部署如下:
NameNode-active + DataNode + ZK +QJM +Client + RM +DM
NameNode-standby + DataNode + ZK +QJM +Client +DM
HA效果:当活动主节点进程(NameNode-active,又成主Namenode)死亡后,系统会监测并自动将 待命主节点进程(NameNode-standbye,又称备Namenode)切换为活动主节点,系统继续完成数据处理任务
有图可以看出:
主备NameNode的进程依赖于shared.edits(本人采用QJM方式),即任何一个journalNode进程死亡都会导致NameNode进程死亡,系统服务不可用
HA原理:
当主Namenode进程死亡后failover-controller(ZKFC)会检测到这一现象,立即将备Namenode切换成主Namenode,维持系统的正常使用
ZKFC进程受控于zkServer的心跳检测
本人试验环境:两台虚拟机
系统部署如下:
NameNode-active + DataNode + ZK +QJM +Client + RM +DM
NameNode-standby + DataNode + ZK +QJM +Client +DM
HA效果:当活动主节点进程(NameNode-active,又成主Namenode)死亡后,系统会监测并自动将 待命主节点进程(NameNode-standbye,又称备Namenode)切换为活动主节点,系统继续完成数据处理任务
有图可以看出:
主备NameNode的进程依赖于shared.edits(本人采用QJM方式),即任何一个journalNode进程死亡都会导致NameNode进程死亡,系统服务不可用
HA原理:
当主Namenode进程死亡后failover-controller(ZKFC)会检测到这一现象,立即将备Namenode切换成主Namenode,维持系统的正常使用
ZKFC进程受控于zkServer的心跳检测
相关文章推荐
- Hadoop2.0 QJM方式的HA的配置
- 使用QJM方式实现hadoop中的HA
- Hadoop2.0 QJM方式的HA的配置
- hadoop2.0 QJM方式的HA的配置
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- Hadoop2.2.0基于QJM的HA实践
- hadoop 2.x之HDFS HA讲解之五 HA管理命令、元数据同步和基于QJM方式存储的硬件配置说明
- hadoop2.0 QJM方式的HA的配置
- Hadoop 2.0 NameNode HA和Federation实践
- Hadoop 2.0 NameNode HA和Federation实践
- Alex 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器)
- Hadoop 2.0 NameNode HA 和 Federation 实践
- 第二章:hadoop2+HA+Zookeeper QJM集群搭建实验
- Hadoop 2.0 NameNode HA和Federation实践
- 【2】搭建HA高可用hadoop-2.3(安装zookeeper)
- Hadoop2.5.1 HDFS HA(QJM)
- _00018 Hadoop-2.2.0 + Hbase-0.96.2 + Hive-0.13.1 分布式环境整合,Hadoop-2.X使用HA方式
- 如何配置Hadoop2.0HDFS的HA以及联邦使用QJM
- Hadoop 2.0 NameNode HA和Federation实践
- Ubuntu上使用Hadoop 2.x 十二 HDFS Cluster HA QJM和Federation联合使用