hadoop2.7高可用安装配置过程以及常见问题解决

一、集群规划



二、基本配置

修改静态IP、修改主机名、配置主机名与-P映射，关闭防火墙，安装JDK并配置环境变量，这些操作相对不易出错且已有很多成熟安装笔记，不再赘述

三、ssh免密登录配置

参考我另一篇博客 《ssh免密配置》

四、安装zookeeper

安装相对简单，有很多成熟资料可供参考，不再赘述

五、安装Hadoop

1. 解压并配置HADOOP_HOME环境变量

2. 修改hadoop配置文件，配置文件在解压目录下的etc/hadoop下

(1). vim hadoop-env.sh

export JAVA_HOME=/home/hadoop/env/jdk1.8.0_91

(2).vim core-site.xml

<!-- 指定shuffle时临时文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.7.2/tmp</value>
</property>

<!-- 指定hdfs的nameservice为ns1,逻辑名，随便取 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>

<!-- 指定zookeeper地址，多个用,分割 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>datanode3:2181,datanode4:2181,datanode5:2181</value>
</property>

(3) vim hdfs-site.xml
<configuration>
<!-- dfs.nameservices 跟前面保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>

<!-- 指定ns1下有两个namenode，分别是nn1,nn2，逻辑名，随便起 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>

<!-- 指定nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>namenode1:8020</value>
</property>

<!-- 指定nn1的HTTP通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>namenode1:50070</value>
</property>

<!-- 指定nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>namenode2:8020</value>
</property>

<!-- 指定nn2的HTTP通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>namenode2:50070</value>
</property>

<!-- 指定namenode的元数据存放的Journal Node的地址，必须基数，至少三个 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://datanode3:8485;datanode5:8485;datanode4:8485/ns1</value>
</property>

<!--这是JournalNode进程保持逻辑状态的路径。这是在linux服务器文件的绝对路径-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/hadoop-2.7.2/journal/</value>
</property>

<!-- 开启namenode失败后自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>

<!-- 配置sshfence隔离机制超时时间30秒 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

(4).vim mapred-site.xml

<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5). vim yarn-site.xml

<configuration>
<!-- 指定YARN(ResourceManager进程)地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>datanode1</value>
</property>

<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

(6). vim slaves

加入以下内容：

datanode1

datanode2

datanode3

datanode4

datanode5

配置好之后使用scp -r 命令将之拷贝到其他所有主机

六、启动hadoop

注意启动顺序

1、分别datanode3、datanode4、datanode5上启动zookeeper

进入zookeeper安装目录：

./bin/zkServer.sh start 启动

./bin/zkServer.sh status 全部启动后查看状态

2、分别datanode3、datanode4、datanode5上启动journal node

进入hadoop安装目录：

./sbin/hadoop-daemon.sh start journalnode

3、格式化HDFS（namenode）

在任意一台namenode的Hadoop安装目录下：

./bin/hdfs namenode –format

并把生成的${HADOOP_HOME}/tmp 文件夹拷贝到另一台namenode的目录下

4、在当前namenode上格式化 zk

进入hadoop安装目录：

./bin/hdfs zkfc –formatZK

5、分别在两台namenode上启动zkfc来监控NN状态

进入hadoop安装目录下：

./sbin/hadoop-daemon.sh start zkfc

6、在当前namenode上启动HDFS

hadoop安装目录下：

./sbin/start-dfs.sh

7、yarn-site.xml里面配置的那台主机上启动YARN（MR）

hadoop安装目录下：

./sbin/start-yarn.sh

8.使用jps查看进程是否按照规划正确启动

常见错误：不要多次格式化namenode,否则出现namenode或datanode无法启动问题，若非要重新格式化，可修改tmp文件夹路径，进而格式化；防火墙不关闭导致连接被拒绝和zookeeper启动不成功、ssh配置不当导致连接超时，每个问题解决是需事先理智分析一下错误产生原因再去修改hadoop配置文件