HadoopHA集群搭建

三台主机：

192.168.143.111  hdp1

192.168.143.112  hdp2

192.168.143.113  hdp3

1、安装配置ZooKeeper；

(1)在conf目录下创建配置文件zoo.cfg

tickTime=2000
dataDir=.../zookeeper/data
dataLogDir=.../zookeeper/dataLog
clientPort=2181
initLimit=5
syncLimit=2
server.1=hdp1:2888:3888
server.2=hdp2:2888:3888
server.3=hdp3:2888:3888

(2)在ZooKeeper目录下创建myid，hdp1的内容为1，hdp2的内容为2，hdp3的内容为3。

(3)分别启动ZooKeeper：zkServer.sh start

2、修改hadoop配置文件；

hadoo-env.sh与mapred-site.xml的配置与非ha机制相同。

core-site.xml

<configuration>

    <!-- 指定hdfs的nameservice为ns1 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://ns1/</value>

    </property>

    <!-- 指定hadoop临时目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/app/hadoop-2.4.1/tmp</value>

    </property>

    <!-- 指定zookeeper地址 -->

    <property>

        <name>ha.zookeeper.quorum</name>

        <value>hdp1:2181,hdp2:2181,hdp3:2181</value>

    </property>

</configuration>

hdfs-site.xml

<configuration>

    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->

    <property>

        <name>dfs.nameservices</name>

        <value>ns1</value>

    </property>

    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->

    <property>

        <name>dfs.ha.namenodes.ns1</name>

        <value>nn1,nn2</value>

    </property>

    <!-- nn1的RPC通信地址 -->

    <property>

        <name>dfs.namenode.rpc-address.ns1.nn1</name>

        <value>hdp1:9000</value>

    </property>

    <!-- nn1的http通信地址 -->

    <property>

        <name>dfs.namenode.http-address.ns1.nn1</name>

        <value>hdp1:50070</value>

    </property>

    <!-- nn2的RPC通信地址 -->

    <property>

        <name>dfs.namenode.rpc-address.ns1.nn2</name>

        <value>hdp2:9000</value>

    </property>

    <!-- nn2的http通信地址 -->

    <property>

        <name>dfs.namenode.http-address.ns1.nn2</name>

        <value>hdp2:50070</value>

    </property>

    <!-- 指定NameNode的元数据在JournalNode上的存放位置，与ZooKeeper位置相同 -->

    <property>

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://hdp1:8485;hdp2:8485;hdp3:8485/ns1</value>

    </property>

    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->

    <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>

    </property>

    <!-- 开启NameNode失败自动切换 -->

    <property>

        <name>dfs.ha.automatic-failover.enabled</name>

        <value>true</value>

    </property>

    <!-- 配置失败自动切换实现方式 -->

    <property>

        <name>dfs.client.failover.proxy.provider.ns1</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->

    <property>

        <name>dfs.ha.fencing.methods</name>

        <value>

            sshfence

            shell(/bin/true)

        </value>

    </property>

    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->

    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <
4000
;value>/home/hadoop/.ssh/id_rsa</value>

    </property>

    <!-- 配置sshfence隔离机制超时时间 -->

    <property>

        <name>dfs.ha.fencing.ssh.connect-timeout</name>

        <value>30000</value>

    </property>

</configuration>

yarn-site.xml

<configuration>

    <!-- 开启RM高可用 -->

    <property>

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

    </property>

    

    <!-- 指定RM的cluster id -->

    <property>

        <name>yarn.resourcemanager.cluster-id</name>

        <value>yrc</value>

    </property>

    

    <!-- 指定RM的名字 -->

    <property>

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>rm1,rm2</value>

    </property>

    

    <!-- 分别指定RM的地址 -->

    <property>

        <name>yarn.resourcemanager.hostname.rm1</name>

        <value>hdp1</value>

    </property>

    

    <property>

        <name>yarn.resourcemanager.hostname.rm2</name>

        <value>hdp2</value>

    </property>

    

    <!-- 指定zk集群地址 -->

    <property>

        <name>yarn.resourcemanager.zk-address</name>

        <value>hdp1:2181,hdp2:2181,hdp3:2181</value>

    </property>

    

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    

</configuration>

slaves

hdp3

3、初次启动顺序

先启动ZooKeeper集群：zkServer.sh start

再启动journalnode：hadoop-daemon.sh start journalnode

hdp1上格式化HDFS：hdfs namenode -format

启动hdp1的NameNode：hadoop-daemon.sh start namenode

在hdp2上执行命令：hdfs namenode -bootstrapStandby

在hdp1上执行：hdfs zkfc -formatZK

在hdp1上执行：start-dfs.sh

在hdp1上执行：start-yarn.sh

4、平常启动顺序

先启动ZooKeeper集群

在hdp1上执行：start-dfs.sh    start-yarn.sh

在hdp2上执行：yarn-daemon.sh start resourcemanager

5、HA机制下hdfs的Java编程

public class HDFS_HA {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://ns1");
conf.set("dfs.nameservices", "ns1");
conf.set("dfs.ha.namenodes.ns1", "nn1,nn2");
conf.set("dfs.namenode.rpc-address.ns1.nn1", "hdp11:9000");
conf.set("dfs.namenode.rpc-address.ns1.nn2", "hdp2:9000");
//conf.setBoolean(name, value);
conf.set("dfs.client.failover.proxy.provider.ns1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
FileSystem fs = FileSystem.get(new URI("hdfs://ns1"), conf, "hadoop");
InputStream in =new FileInputStream("c://eclipse.rar");
OutputStream out = fs.create(new Path("/eclipse"));
IOUtils.copyBytes(in, out, 4096, true);
}
}