HDFS 高可用HA搭建过程

这两天搞集群高可用设置，其实网上的介绍很详细了，不再多说，只记录一下我操作的过程。



更多介绍请参见文章：
/article/1988360.html

问题一：
按照上面写的一步步配置下来，格式化namenode失败。首先要启动journalnode，之后才能格式namenode成功。

启动方式如下：

sbin/hadoop-daemon.shstart journalnode

问题二：

两台namenode不能都使用format格式，原来一个一个格式化，导致两个namenode各自为政，互不相干，后来将一个格式化之后将namenode目录中的内容拷贝到另外一个，两个namenode都启动成功了；

问题三：

两个namenode都是standby，发现没有启动zookeeper和DFSZKFailoverController， 在两个主节点启动

Sbin/Hadoop-daemon.sh start zkfc

Bin/zkServer.sh start

强制切成active

hdfs haadmin-transitionToActive nn2 --forcemanual --forceactive

问题四：

无法启动datanode,最后发现dfs.datanode.failed.volumes.tolerated设置为1，是允许有一块盘是坏的。而我们的集群只有一块盘，这volFailuresTolerated和volsConfigured的值都为1，所以会导致代码里面判断失败。将些配置去掉。

使用 sbin/hadoop-daemon stop namenode之后测试 standby 节点已经成功切换成active节点。

建立目录以及上传文件正常。

#
Hadoop集群安装###下载压缩包wget
"http://uri"###安装并配置zookeeper```dataDir=/data1/data/zookeeperclientPort=2181server.1=host1:2888:3888server.2=host2:2888:3888server.3=host3:2888:3888``````增加myid文件echo
1 >/data1/data/zookeeper/myid```>./bin/zkServer.sh
start ###格式化zookeeper>hdfs
zkfc –formatZK###修改hadoop
配置文件```具体内容不再详细罗列，主要修改以下配置文件：core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlfair-scheduler.xmlslaves.....```###启动journalnode在其中三台服务器上启动journalnode：>
./sbin/hadoop-daemon.sh start journalnode###格式化namenode>
hdfs namenode -format>
hdfs namenode -bootstrapStandby###启动集群：
> sbin/start-dfs.sh >
sbin/start-yarn.sh