基于HA机制的Hadoop集群搭建

简介

HA（High Available）机制的集群相比传统的方式更加安全可靠，由于有了备用节点的存在，当主节点（Active）发生故障的时候备用节点（StandBy）可以迅速无缝的切换到Active状态替换掉故障节点，保证了系统的高可用。

以下通过一个示例详细说明如何搭建一个高可用的Hadoop集群。

实验环境：

CentOS6.4；JDK1.7；Hadoop2.4.1；ZooKeeper3.4.5；

集群规划：

规划说明：
1、Hadoop集群由两个NameNode组成，一个处于Active状态，另一个处于StandBy状态。Active 状态的NameNode对外提供服务，而Standby 状态NameNode则不对外提供服务，只同步active namenode的状态，保证在Active状态NameNode节点故障的时候迅速切换为Active状态并且通过设定的方式结束原本处于Active节点进程，避免出现两个Active节点造成冲突。
2、hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。我们采用QIM方案，在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
3、这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
4、hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

配置步骤：

1、配置各主机IP，主机名(/etc/sysconfig/network)，将集群内所有主机IP和主机名映射关系加入各自的hosts文件（/etc/hosts）

配置IP:
vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"               ###

HWADDR="00:0D:21:8C:AF:C7"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

IPADDR="192.168.2.100"           ###

NETMASK="255.255.255.0"          ###

GATEWAY="192.168.2.1"            ### 

配置主机和IP映射关系
vim /etc/hosts



关闭防火墙：
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

重启

2、上传，解压JDK1.7，配置JDK环境变量

vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.7.0-65
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile

3、上传、解压Hadoop、配置环境

hadoop的配置文件全部在$HADOOP_HOME/etc/hadoop下

#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/weekend/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3.1修改hadoo-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55

3.2修改core.site.xml

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>L-CentOS4:2181,L-CentOS5:2181,L-CentOS6:2181</value>
</property>
</configuration>

3.3 修改hdfs.site.xml

<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>L-CentOS:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>L-CentOS:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>
e904
L-CentOS1:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>L-CentOS1:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://L-CentOS4:8485;L-CentOS5:8485;L-CentOS6:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

3.3修改yarn.site.xml

<configuration>
<!-- 指定mapreduce框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.4 修改yarn.site.xml

<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>L-CentOS2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>L-CentOS3</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>L-CentOS4:2181,L-CentOS5:2181,L-CentOS6:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

4、配置免密登录

4.1 L-CentOS到其他六台机器的免密登录
在L-CentOS上生成密钥对并将公钥加入其他节点
ssh-keygen -t rsa

ssh-copy-id L-CentOS
ssh-copy-id L-CentOS1

ssh-copy-id L-CentOS2

ssh-copy-id L-CentOS3

ssh-copy-id
L-CentOS4

ssh-copy-id
L-CentOS5

ssh-copy-id
L-CentOS6

4.2 L-CentOS2到后面4台机器的免密登录
在L-CentOS2上生成密钥对并将公钥加入其他节点
ssh-keygen -t rsa

ssh-copy-id L-CentOS3
ssh-copy-id L-CentOS4

ssh-copy-id L-CentOS5

ssh-copy-id L-CentOS6

4.3 配置—L-CentOS1到L-CentOS的免密登录
ssh-keygen -t rsa
ssh-copy-id L-CentOS

5、将配置好的Hadoop拷贝到其他六台机器

scp -r hadoop-2.4.1/ hadoop@L-CentOS1:/home/hadoop/

6、NameNode和ResourceManager节点的slaves

../hadoop-2.4.1/etc/hadoop/slaves
#分别加入DataNode和NodeManager所在的节点
L-CentOS4
L-CentOS5
L-CentOS6

7、启动ZooKeeper

启动第4，5,6台机器的ZooKeeper服务
../zookeeper-3.4.5/bin/(脚本位置)

#启动
./zkServer.sh start
#查看状态
./zkServer.sh status

启动三台机器的ZooKeeper服务，查看状态
有一个Leader,两个follower

8、启动JournalNode

启动第4.5.6台机器的JournalNode服务
../hadoop-2.4.1/sbin/(脚本位置)
 ./hadoop-daemon.sh start journal

9、格式化HDFS
在L-CentOS机器上格式化HDFS，会根据core.site.xml里面hadoop.tmp.dir配置生成对应的文件夹和文件，然后连同文件结构一起拷贝到L-CentOS1中以确保两个NameNode的初始fsimage完全一致。

10、格式化ZKFC
在L-CentOS执行 hdfs zkfc -formatZK

11、启动HDFS
在L-CentOS启动HDFS，L-CentOS会启动其他DataNode节点（需提前配置免密登录）

12、启动YARN
L-CentOS2：../sbin/start-yarn.sh
L-CentOS3:../sbin/yarn-daemon.sh start resourcemanager

检查确认

NameNode节点（L-CentOS，L-CentOS1）运行的进程：



ReSourceManager节点（L-CentOS2，L-CentOS3）运行的进程



DataNode节点（L-CentOS4，L-CentOS5，L-CentOS6）运行的进程



如果以上进程均正常启动应该就算配置成功了，下面可以通过浏览器访问确认 http://192.168.2.100:50070

http://192.168.2.101:50070

http://192.168.2.102:8088