hadoop高可用集群环境详解

hadoop

组成：HDFS, MapReduce

hdfs 分布式文件系统

流式数据访问 hdfs的构建思路是 一次写入、多次读取是最高效的访问模式

hdfs同样也有快（block）的概念，但是大的多，默认为64MB。与单一磁盘上的文件系统相似，hdfs上的文件也被划分为块大小的多个分块

作为独立的存储单元。但与其他文件系统不同的是，hdfs中小于一个块大小的文件不会占据整个块的空间

hdfs中的块为何如此之大：hdfs的块比磁盘的块大，其目的是为了最小化寻址开销，如果块设置得足够大，从磁盘传输数据的时间会明显

大于定位整个块开始位置所需的时间，因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率

namenode 和 datanode

hdfs集群有两类节点以管理者-工作者模式运行，即一个namenode（管理者）和多个datanode（工作者）。namenode管理文件系统的命名空间。

它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode也

记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息会在系统启动时由数据节点重建

基于后面的两个，之后在研究

其实说白了，hdfs里面有namenode 和 datanode ，namenode为命名空间，也是master，下发任务，datenode为数据节点，专门干活，执行任务存数据





不过这样看，有单点问题，

hadoop中的namenode好比人的心脏，绝对不可以停止工作，在hadoop2.0中新的namenode不再是一个，可以有多个（目前只支持2个）

每一个都有相同的职能，一个是active状态的，一个是standby状态的，当集群运行时，只有active状态的namenode是正常工作的，standby

状态的namenode是处于待命状态的，时刻同步active状态namenode的数据。一旦active状态的namenode不能工作，通过手工或者自动切换，

standby状态的namenode就可以转变为active状态的，就可以继续工作了，

hadoop2.0中，两个namenode的数据其实是实时共享的，新hdfs采用了一种共享机制，Quorum Journal Node（JournalNode）集群或者

NFS进行共享，nfs是操作系统层面的，journalnode是hadoop层面的我们这里使用journalnode集群





两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，

会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己

的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了

对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失

数据，或者产生错误的结果。为了保证这点，这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册，

当active状态的NameNode出故障时，ZooKeeper能检测到这种情况，它就会自动把standby状态的NameNode切换为active状态

我这里是做了4台 。 这里我说一下，这个journalnode最少三台，也就是最起码是奇数，数据节点也弄三台吧

namenode datanode zookeeper year journalnode

192.168.10.36 hadoop-master-01 是 否 是 否 否

192.168.10.39 hadoop-master-03 是 是 是 是 是

192.168.10.37 hadoop-slave-01 否 是 是 否 是

192.168.10.38 hadoop-slave-02 否 是 否 否 是

前期的环境都弄好，我这里系统是centos7，我将自带的java卸了，自己装了一个

jdk-8u72-linux-x64.rpm





环境变量配好

export JAVA_HOME=/usr/java/jdk1.8.0_72

export CLASSPATH=.:$JAVA_HOME/jreb/rt.jar:$JAVA_HOMEb/dt.jar:$JAVA_HOMEb/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

好了，准备好，那就开始zookeeper。

我们看看配置文件

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6/data

clientPort=2181

dataLogDir=/tmp/zookeeper/log

server.1=hadoop-master-01:2888:3888

server.2=hadoop-master-03:2888:3888

server.3=hadoop-slave-01:2888:3888

后面别忘了创建那个小文件





好了，zk完了，

开始hadoop。

wget http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

hadoop-2.7.2.tar.gz 最新版本

对了，ssh免密码登陆，这个别忘，因为Hadoop需要通过SSH登录到各个节点进行操作

(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，
#RSAAuthentication yes
#PubkeyAuthentication yes
(2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，

然后将公钥拷贝到其他机器上生成authorized_keys

测试一下

好了，解包hadoop

创建几个数据目录在/home/hadoop data name temp

我们开始看配置

这里要涉及到的配置文件有7个：

~/hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_72 我直接在这个文件里修改了一下环境变量

~/hadoop-2.7.2/etc/hadoop/yarn-env.sh 这个也是环境的一些配置

~/hadoop-2.7.2/etc/hadoop/slaves 这个里面是很明显，都是slave，datanode，

~/hadoop-2.7.2/etc/hadoop/core-site.xml 这里是namenode的配置文件

~/hadoop-2.7.2/etc/hadoop/hdfs-site.xml hdfs的配置文件

~/hadoop-2.7.2/etc/hadoop/mapred-site.xml mapreduce

~/hadoop-2.7.2/etc/hadoop/yarn-site.xml yarn的配置

/usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns</value> 这里定义namenode，他的数据目录

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/temp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>ha.zookeeper.quorum</name> 以及注册与zk的配置

<value>hadoop-master-01:2181,hadoop-master-03:2181,hadoop-slave-01:2181</value>

</property>

</configuration>

~

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->

<property>

<name>dfs.nameservices</name>

<value>ns</value>

</property>

<!-- ns下面有两个NameNode，分别是nn1，nn2 -->

<property>

<name>dfs.ha.namenodes.ns</name>

<value>nn1,nn2</value>

</property>

<!-- nn1的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns.nn1</name>

<value>hadoop-master-01:9000</value>

</property>

<!-- nn1的http通信地址 -->

<property>

<name>dfs.namenode.http-address.ns.nn1</name>

<value>hadoop-master-01:50070</value>

</property>

<!-- nn2的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns.nn2</name>

<value>hadoop-master-03:9000</value>

</property>

<!-- nn2的http通信地址 -->

<property>

<name>dfs.namenode.http-address.ns.nn2</name>

<value>hadoop-master-03:50070</value>

</property>

<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop-master-03:8485;hadoop-slave-01:8485;hadoop-slave-02:8485/ns</value>

</property>

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/journal</value>

</property>

<!-- 开启NameNode故障时自动切换 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- 配置失败自动切换实现方式 -->

<property>

<name>dfs.client.failover.proxy.provider.ns</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 配置隔离机制 -->

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<!-- 使用隔离机制时需要ssh免登陆 -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///home/hadoop/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

这里的配置就是允许它用户连接

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

/usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

/usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>

<!-- 指定resourcemanager地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop-master-03</value>

</property>

<!-- 指定nodemanager启动时加载server的方式为shuffle server -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

vi /usr/local/hadoop/etc/hadoop/slaves

hadoop-master-03

hadoop-slave-01

hadoop-slave-02

然后将本机的 hadoop 直接拷贝到其他机器。什么防火墙啊。。。主机名啊都改好

192.168.10.36 hadoop-master-01

192.168.10.37 hadoop-slave-01

192.168.10.38 hadoop-slave-02

192.168.10.39 hadoop-master-03

开始启动。

在master1上

启动journalnode集群

sbin/hadoop-daemons.sh start journalnode

bin/hadoop-daemons.sh start journalnode

执行jps命令，可以查看到JournalNode的java进程pid

格式化zkfc,让在zookeeper中生成ha节点

在master1上

hdfs zkfc –formatZK

[zk: localhost:

2181

(CONNECTED)

1

] ls /hadoop-ha

[ns]

在master1上 因为有两个namnode。这台格式化后，将数据同步到另一台上，手动考培，或者执行命令

格式化hdfs

hadoop namenode –format

用命令同步，得先把目前这台启动起来

sbin/hadoop-daemon.sh start namenode

然后来到第二台namenode master-03 执行

hdfs namenode -bootstrapStandby 同步

然后开启 sbin/hadoop-daemon.sh start namenode

然后继续启动datanode 在master1

sbin/hadoop-daemons.sh start datenode

然后启动yarn 在你所配置yarn的那台机器上启动，

sbin/start-yarn.sh

最后启动zkfc

sbin/hadoop-daemons.sh start zkfc

ok，我们最后看jps

















测试









我创建了文件夹以及文件测试









好的，hadoop就算搭建完了，不过路还长！！！