[hadoop][会装]hadoop ha模式安装

1.简介

　　2.X版本后namenode支持了HA特性，使得整个文件系统的可用性更加增强。

2.安装前提

　　zookeeper集群，zookeeper的安装参考[hadoop][会装]zookeeper安装

3.资源规划

　　

xufeng-1	xufeng-2	xufeng-3
zookeeper	zookeeper	zookeeper
JournalNode	JournalNode	JournalNode
NameNode DFSZKFailoverController	NameNode DFSZKFailoverController
datanode	datanode	datenode
resourcemanager		resourcemanager
nodemanager	nodemanager	nodemanager

注意：
实际部署的时候JournalNode应该和namenode进程分开部署，这里由于资源有限暂未分开

4.开始部署

　　a.目录规划

　　hadoop安装目录使用软链接的方式，这样有利于后续升级后也不需要去修改其他环境变量等参数

　　配置文件也和安装包分离，有利于后续升级后配置不需要重新倒腾。　　

hadoop@xufeng-2 hadoop]$ ll
总用量 20
lrwxrwxrwx. 1 hadoop hadoop   52 7月  22 17:18 hadoop -> /opt/hadoop/hadooplib/cdh5.4.2/hadoop-2.6.0-cdh5.4.2
drwxrwxr-x. 2 hadoop hadoop 4096 7月  22 18:43 hadoop-config

　　b.环境变量设定（xufeng-1上修改后同步到其他机器）

#hadoop
export HADOOP_HOME=/opt/hadoop/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-config
export HADOOP_LOG_DIR=/opt/hadoop/hadoop/logs

　　c.配置文件修改（xufeng-1上修改后同步到其他机器）

　　首先将软件包中的etc/hadoop下的所有文件拷贝到hadoop-config目录。

　　修改core-site.xml　　

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>--->这里并没有给出具体的那一台主机，因为是两个namenode所以可以将此名称看做为逻辑组合，这个组合后续配置文件中会给出更加详细的描述和定义
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop-data/hadoop/temp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>xufeng-1:2181,xufeng-2:2181,xufeng-3:2181</value>
</property>
</configuration>

　　修改hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>------>这里就是core-site.xml中提到的逻辑概念，hdaoop中称之为服务，注意是复数形式，也就是我们如果愿意可以在一个集群中规划处多个服务来
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>-------->描述这个服务有哪些namenode作为管理节点
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>----->描述其中一个namenode的管理节点在哪里
<value>xufeng-1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>xufeng-1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>----->描述另外一个namenode的管理节点在哪里？
<value>xufeng-2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>xufeng-2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://xufeng-1:8485;xufeng-2:8485;xufeng-3:8485/ns1</value>----->指出qjournal地址，这个集群就好比NFS，里面存放的是edits.log，主备namenode都可以访问，做到数据共享，藉此是实现HA的关键
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://xufeng-1:8485;xufeng-2:8485;xufeng-3:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/hadoop/hadoop-data/hadoop/journaldata</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>------------------>两台主备namenode在其本地存放数据（fsimage）的目录
<value>/opt/hadoop/hadoop-data/hadoop/hdfs/namenode</value>
<description>NameNode directory for namespace and transaction logs storage.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hadoop-data/hadoop/hdfs/datanode</value>
<description>DataNode directory</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>----->指明是使用zkfc的方式去管理主备切换，既伴随namenode启动也会同时在同样的机器上启动zkfc，它的目的就是管理namenode在zookeeper上节点，藉此来实现主备切换实现。
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>------>所谓隔离机制，既是到备namenode升级为主的时候将会使用这一个机制发送命令去杀死另外一个namenode,通常为kill -9（补枪的重要性，万一假死呢）
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->------>使用上述隔离机制既是想对方发送一条shell指令，那么久必须是免密码登录的。
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>---
<value>~/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

　　修改mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

　　修改yarn-site.xml

<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>------>与namenode的服务一样，这里只写出一个逻辑名称，后续配置会进一步说明
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>------>上述cluster-id逻辑名称下具体有几个实际的rm
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>----->每一个rm的主机位置
<value>xufeng-1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>xufeng-3</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>xufeng-1:2181,xufeng-2:2181,xufeng-3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

　　修改slaves文件

　　这个文件是公用的计算节点配置文件，当启动hdfs模块的时候，此时里面写入的主机上会启动datanode进程。

　　当启动yarn模块时候，此时里面写入的主机会启动nodemanager进程。　

xufeng-1
xufeng-2
xufeng-3

5. 启动hadoop方法和顺序（假设zookeeper已经启动完毕）

　　[首次启动场景] 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　1.启动journalnode（各个节点上都执行）

hadoop-daemon.sh start journalnode

　　　　　　　　　　

　　

　　2.启动namenode与zkfc

　　a.由于有两个namenode，所以在xufeng-1上执行：　　

hdfs namenode -format

　　b.再将其工作目录（hdfs-site.xml的dfs.namenode.name.dir指定的路径）拷贝到xufeng-2这台主机的对应目录上，以保证两个namenode初始化数据相同

scp -r /opt/hadoop/hadoop-data/hadoop/hdfs/namenode/*  xufeng-2:/opt/hadoop/hadoop-data/hadoop/hdfs/namenode

　　c.格式化zkfc（xufeng-1上执行即可）

hdfs zkfc -formatZK

　　d.启动hdfs

start-dfs.sh

　　3.启动yarn

start-yarn.sh

　　以上将hadoop所有的进程都启动完毕。

6. 验证安装结果

　　1.检查hdfs：





　　2.检查yarn



至此hadoop ha模式分布式安装完成。

以上。