HDFS2.0 HA完整配置过程

HDFS HA配置的完整步骤

部分内容参考了这篇文章： http://blog.csdn.net/dmcpxy/article/details/18256607 。其中配置文件时基于我的集群信息做的，还增加了配置中遇到的问题和解决办法。

最近了解了Hadoop后，又开始涉及Hadoop 2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。

这里是QJM方式的HA配置，众所周知，HDFS HA一般是基于NFS公共存储的，这里不采用NFS。

主要步骤：

1. zookeeper集群配置

2. HDFS HA参数配置

3. HDFS HA启动

4. 验证测试

1. zookeeper集群配置

说明： 我是在2台机器上做的配置，貌似zookeeper推荐用奇数台机器进行搭建，一般选3台。所以两台不推荐啊不推荐。

下载zookeeper的压缩包，并且解压，我的安装包目录是/search/zookeeper/zookeeper-3.4.5/，因为是HDFS 2.0，所以相应的zookeeper的版本也不能太低，免得出现兼容性问题。
(1) 首先建立zookeeper的数据目录，比如：

mkdir /search/zookeeper/dataDir

(2) 同时建立日志存放目录：

mkdir /search/zookeeper/dataDir/logs/

(3) 在zookeeper安装包中，/conf下的zoo_sample.cfg拷贝一份，命名为zoo.cfg，这是zookeeper的配置文件：

cp zoo_sample.cfg zoo.cfg

(4) 在zoo.cfg文件是进行配置：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/search/zookeeper/dataDir/

dataLogDir=/search/zookeeper/dataDir/logs/

clientPort=21810

#server.id in cluster = ip:port used in communicating with leader : port used when choosing a new leader

server.1=10.14.131.47:28880:38880

server.2=10.14.135.11:28880:38880

(5) 在每台服务器的dataDir目录下分别创建一个叫myid的文件，内容分别是1，2，如：

#在10.14.131.47上执行如下命令

echo 1 >/search/zookeeper/dataDir/myid

#在10.14.135.11上执行如下命令

echo 2 >/search/zookeeper/dataDir/myid

(6) 最后就是分别启动zookeeper服务了：

./bin/zkServer.sh start

(7) 通过jps命令可以检查是否启动成功：

1239 QuorumPeerMain

#看到QuorumPeerMain进程就表示zookeeper启动成功了。

(8) 测试zookeeper集群是否建立成功，在安装包目录下执行以下命令即可，如无报错表示集群创建成功：

./bin/zkCli.sh -server localhost:21810

2. HDFS2.0 HA参数配置

HA相关的配置是在core-site.xml和hdfs-site.xml中，当把这两个配置文件修改完成后，需要停止hadoop服务，然后同步修改后的配置信息到每个节点上。

说明： 这里的配置，都是基于已经成功配置了Hadoop 2.0集群的前提下，所以其他的一些配置信息没有列出。

（1） core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>10.14.131.47:21810,10.14.135.11:21810</value>
</property>

<property>
<name>ha.zookeeper.session-timeout.ms</name>
<value>1000</value>
<description>ms</description>
</property>

（2） hdfs-site.xml

<!-- HA config start -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<!-- the name service -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
<description>Logical name for this newnameservice</description>
</property>

<!-- the node in this name service -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
<description>Unique identifiers for each NameNode in thenameservice</description>
</property>

<!-- the rpc port of each node -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>10.14.143.83:8022</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>10.14.131.47:8022</value>
</property>

<!-- the http address of each namenode -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>10.14.143.83:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>10.14.131.47:50070</value>
</property>

<!-- shared storage -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://10.14.131.47:8485;10.14.135.11:8485/mycluster</value>
</property>

<!-- the agent for HA auto switch -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- the fencing mathod -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

<!-- journalnode config -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/search/hadoop01/journalnode/</value>
</property>
<!-- <property>
<name>dfs.journalnode.rpc-address</name>
<value>0.0.0.0:20022</value>
</property> -->

<!-- must be the HA auto switch or not -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- HA config end -->

3. HDFS HA启动

（1） 启动zookeeper集群： 在每个zookeeper的机器上执行：

./bin/zkServer.sh start

#据说集群会自动把第一个启动的机器作为leader。who knows ~~

（2） 在某一个namenode节点执行如下命令，创建命名空间

./bin/hdfs zkfc -formatZK

（3） 在各个节点用如下命令启日志程序

./sbin/hadoop-daemon.sh start journalnode

#如果Hadoop集群比较大的话，这真是个吃力不讨好的工作。所以我写了个脚本来实现它。

（4） 在主namenode节点用./bin/hadoopnamenode -format格式化namenode和journalnode目录

./bin/hadoop namenode -format mycluster

#namenode节点在初始化时，也将自己的edits文件共享到了journalnode上。

（5） 在主namenode节点启动namenode进程

./sbin/hadoop-daemon.sh start namenode

（6） 在备节点启动备namenode进程

a) ./bin/hdfs namenode –bootstrapStandby

#这个命令是把备namenode节点的目录格式化，并且把主namenode的元数据和journalnode上的edits文件同步过来，从而使元数据和主namenode保持一致，并且这个命令不会把journalnode目录再格式化。

ERROR： 不过我在执行bootstrapStandby时失败了，具体失败的体现是下一步启动备namenode失败，报错信息是缺少$dfs.tmp.dir/data/下的name目录。因为name目录下保存的都是namenode的基本元数据，所以说明这一步的格式化没有成功。

SOLUTION:
手工把主namenode上的元数据（$dfs.namenode.name.dir下的所有数据）拷贝到备namenode下的同目录下，然后再执行bootstrapStandby.

b) ./sbin/hadoop-daemon.sh start namenode

#启动备namenode。

（7） 在两个namenode节点都启动ZKFC：

./sbin/hadoop-daemon.sh start zkfc

#启动DFSZKFailoverController,也就是用于监控namenode并且保持HA状态的那个watchdog。

（8） 在所有datanode节点都执行以下命令启动datanode

./sbin/hadoop-daemon.sh start datanode

#这个步骤略坑爹，因为节点很多。最好直接在namenode节点上执行 sbin/hadoop-daemons.sh start datanode 启动。

ERROR:
启动Datanode可能失败，失败报错信息为

2014-03-13 11:26:30,788 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1257313099-10.10.208.38-1394679083528 (storage id DS-743638901-127.0.0.1-50010-1394616048958)
service to Linux-hadoop-38/10.10.208.38:9000

java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/tmp/dfs/data: namenode clusterID = CID-8e201022-6faa-440a-b61c-290e4ccfb006; datanode clusterID = clustername

错误提示很明显，Datanode节点初始化失败，和hadoop.tmp.dir目录有关系。一般是因为，我们的Hadoop集群不是首次启动，所以版本信息产生冲突。

SOLUTION：
对比master节点上dfs.namenode.name.dir目录下，current文件夹中的VERSION文件的内容，和slave节点上hadoop.tmp.dir目录下，data/current/目录下的VERSION文件的内容，会发现他们的内容不一致，很有可能是这个VERSION是Datanode在没有配置HA之前的集群中使用的VERSION，所以Datanode无法正常启动。删除slave上的VERSION文件，再启动就成功了。

（9） 通过web界面查看两个namenode的状态，如果都处在standby状态的话，就把其中一个namenode切换成Active状态。

hdfs haadmin -failover --forcefence --forceactive <serviceId> <serviceId>

#这个命令的作用我不是很清楚，到底哪个serviceId会被切换成Active。或者用下面的命令：

bin/hdfs haadmin -transitionToActive nn1

此时进行检查，HDFS集群应该已经全部正常启动了。下次再启动时，直接执行./sbin/start-dfs.sh就好。关闭直接执行./sbin/stop-dfs.sh就好。

4. 测试HA的功能

（1） 在Active namenode节点上先jps找到namenode的进程号，然后kill -9杀死namenode进程。观察standby namenode节点的状态变化。

jps

kill -9 pid_namenode

（2） 观察standby节点是否自动切换成了Active：

通过web界面查看，括号内显示的状态从standby变成了active;

观察zkfc日志（logs/.....-zkfc.......log）,最后一行出现如下日志，表示切换成功：

INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hd0/192.168.111.130:53310 to active state

（3） 启动被kill掉的namenode

./sbin/hadoop-daemon.sh start namenode

（4） 观察该namenode节点的状态：

通过web界面查看，括号内显示的状态为standby;

观察zkfc日志（logs/.....-zkfc.......log）,最后一行出现如下日志，表示该节点作为standby节点已经正常启动：

INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hd2/192.168.111.132:53310 to standby state