Hadoop2.5.1 HDFS HA(QJM)
2014-11-27 09:56
381 查看
接着上一篇文章继续进行配置。
官网介绍:HDFS
High Availability Using the Quorum Journal Manager
机器类型:64位centos。机器列表:
配置好各台机器的主机名,并打通master和master2到各台主机的ssh免验证登录。
修改环境变量(/etc/profile),添加如下字段:
新建/usr/zookeeper/data/myid文件,分别填入对应id1到3,如在zookeeper1中
安装成功。
hdfs-site.xml
web端:
其中mater为active,master2为standby。
可以通过杀死namenode进程验证HDFS的HA。
官网介绍:HDFS
High Availability Using the Quorum Journal Manager
机器类型:64位centos。机器列表:
192.168.11.99 master 192.168.11.97 master2 192.168.12.174 slave1 192.168.12.178 slave2 192.168.12.18 slave3 192.168.11.94 slave4 192.168.12.179 zookeeper1 192.168.12.182 zookeeper2 192.168.12.185 zookeeper3
配置好各台机器的主机名,并打通master和master2到各台主机的ssh免验证登录。
1 zookeeper集群安装
下载zookeeper-3.4.6到三台zookeeper,解压并重命名为/usr/zookeeper,同时安装jdk。修改环境变量(/etc/profile),添加如下字段:
export JAVA_HOME=/usr/java/jdk1.8.0_25 export PATH=/usr/zookeeper/bin:$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar编辑配置文件:
[root@zookeeper1 conf]# vi /usr/zookeeper/conf/zoo.cfg添加如下字段:
dataDir=/usr/zookeeper/data # the port at which the clients will connect clientPort=2181 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888三台机器做相同配置。
新建/usr/zookeeper/data/myid文件,分别填入对应id1到3,如在zookeeper1中
[root@zookeeper1 data]# more myid 1 [root@zookeeper1 data]#启动zookeeper:
zkServer.sh start查看状态:
[root@zookeeper1 ~]# jps 1380 Jps 6781 QuorumPeerMain
安装成功。
2 配置namenode HA
core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://cluster1</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/root/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>ha.zookeeper.quorum</name> <value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.nameservices</name> <value>cluster1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.ha.namenodes.cluster1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.cluster1.nn1</name> <value>master:8020</value> </property> <property> <name>dfs.namenode.rpc-address.cluster1.nn2</name> <value>master2:8020</value> </property> <property> <name>dfs.namenode.http-address.cluster1.nn1</name> <value>master:50070</value> </property> <property> <name>dfs.namenode.http-address.cluster1.nn2</name> <value>master2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://master:8485;master2:8485;slave1:8485/cluster1</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/root/jn_data</value> </property> <property> <name>dfs.client.failover.proxy.provider.cluster1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/root/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/root/dfs/data</value> </property> </configuration>
3 测试
首先分别在三台机器上启动zookeeper:zkServer.sh start然后启动hadoop:
start-dfs.sh start-yarn.sh可以看到对应的守护进程。
web端:
其中mater为active,master2为standby。
可以通过杀死namenode进程验证HDFS的HA。
相关文章推荐
- hadoop 2.x之HDFS HA讲解之五 HA管理命令、元数据同步和基于QJM方式存储的硬件配置说明
- Hadoop2.5.1 HDFS High Availability With QJM(Quorum Journal Manager)
- Hadoop 2.x之HDFS利用QJM实现HA高可用
- Hadoop之HDFS的HA与QJM
- Ubuntu上使用Hadoop 2.x 十二 HDFS Cluster HA QJM和Federation联合使用
- Hadoop HDFS通过QJM实现高可用HA环境搭建
- HDFS【2.5.1】系列2:hadoop 2.5.1的源码编译---研究HDFS的准备工作
- Hadoop集群之HDFS伪分布式安装 非HA(一)
- Hadoop-2.7.0中HDFS NameNode HA实现综述
- 利用QJM实现HDFS的HA策略部署与验证工作记录分享
- Hadoop HDFS HA启动出现两个StandBy NameNode
- 基于QJM的HDFS HA总结
- hadoop3节点hdfs ha,yarn ha配置
- Hadoop 2.2.0 HDFS的HA配置
- 利用QJM实现HDFS的HA策略部署与验证工作记录分享
- Hadoop 5、HDFS HA 和 YARN
- hadoop系列文档3-配置Hdfs高可用HA
- 第九章 搭建Hadoop 2.2.0版本HDFS的HA配置
- 基于QJM/Qurom Journal Manager/Paxos的HDFS HA原理及代码分析
- hadoop2.2.0升级成hdfs ha后查询报java.net.UnknownHostException