Hadoop之旅(7)— HDFS HA Zookeeper自动故障转移
2017-06-26 12:16
387 查看
1、HDFS HA Zookeeper自动故障转移的需求
在 HDFS 集群下,我们知道也只有单个 NameNode 节点,虽然是集群但是也会有单节点故障等事故。所以需要一个协调者帮助我们遇到故障时及时帮助我们切换可用的 NameNode 节点。这个就是我们的需求、如果我们不需要ZK的话、搭建的HA需要我们手动切换,这是不可行的。所以我们需要 zookeeper安装与配置教程。集群规划:
前提条件:
环境:三台虚拟机、三个zk节点(集群模式)
启动zk
2、HDFS HA配置文件
2.1、core-site.xml文件<property> <name>fs.defaultFS</name> <value>hdfs://ns1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/chenzhengyou/hadoop/cluster/data/tmp</value> </property> <!--垃圾回收箱的时间--> <property> <name>fs.trash.interval</name> <value>640800</value> </property> <!--zookeeper--> <property> <name>ha.zookeeper.quorum</name> <value>czy-1:2181,czy-2:2181,czy-3:2181</value> </property>
2.2、hdfs-site.xml文件
<!-- 两个NameNode --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <!-- #####################NameNode RPC ADDRESS######################### --> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>czy-1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>czy-2:8020</value> </property> <!-- #####################NameNode HTTP WEB ADDRESS######################### --> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>czy-1:50070</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>czy-2:50070</value> </property> <!-- #####################NameNode SHARED EDITS ADDRESS######################### --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://czy-1:8485;czy-2:8485;czy-3:8485/ns1</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/usr/local/chenzhengyou/hadoop/cluster/data/tmp/dfs/jn</value> </property> <!-- #################### HDFS PROXY client ######################### --> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- ##################### NameNodes FENCE 隔离 ######################### --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <!--注意:两个NameNode之间能够ssh无密码登录--> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <!-- ##################### automatic failover ######################### --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!--权限--> <property> <name>dfs.permissions</name> <value>false</value> </property>
2.3、slaves文件(三台机器的主机名)
czy-1 czy-2 czy-3
2.4、yarn-site.xml文件
<!--主机2 -ResourceManager --> <property> <name>yarn.resourcemanager.hostname</name> <value>czy-2</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- ################NodeManager Resouce#################### --> <!--内存--> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <!--核--> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>4</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!--收回存活时间--> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>640800</value> </property>
3、格式化 ZKFC
hdfs zkfc -formatZK
4、启动 NameNode、DataNode、nodemanager、resourcemanager等
[root@czy-1 hadoop-2.5.0]# sbin/start-all.sh
5、启动界面
启动 czy-1 主机是 active 节点、czy-2 主机是 standby 节点。
我们现在把 czy-1 主机上的 namenode kill
界面瞬间变化(瞬间的切换就降低影响)
相关文章推荐
- hadoop2.4 ha(双namenode自动故障转移安装)
- hadoop 2.x之HDFS HA讲解之十一测试failover故障转移和隔离、使用sshfence隔离的配置ssh无密钥登陆
- HDFS HA【QJM】集群搭建以及使用Zookeeper集群进行故障转移
- Hadoop-2.4.1学习之QJM HA的自动故障转移
- Hadoop-2.6.0下HDFS的集群HA的主备自动切换搭建
- HDFS HA系列实验之七:NN故障转移处理
- 从0开始部署hadoop HDFS的HA集群,使用zk实现自动容灾
- 大数据 (三)Hadoop-HDFS namenode的HA --- zookeeper的引出
- hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案
- 【Hadoop2.7.0、Zookeeper3.4.6、JDK1.7】搭建完全分布式的hadoop,HA部署安装,自动备援
- hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案
- hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案
- 部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
- HDFS集群搭建,高可用双机热备模式(HA)自动切换,hdfs+zookeeper+journalnode,步骤分步原理详解(适合初学者)
- hadoop-2.X 共享日志、隔离机制和自动故障转移
- Hadoop+Zookeeper+NameNode(HA)+ResourceManager(HA)自动切换 配置
- 关于hadoop-2.6.0 HA模式下HDFS自动failover切换的一点经验
- HDFS自动故障转移配置
- HDFS高可用性 手动故障转移和自动故障转移配置教程
- HDFS HA系列实验之七:NN故障转移处理