CentOS7 搭建Hadoop 集群

CentOS7 搭建Hadoop 集群

一，系统与软件的准备

（一），CentOS 7 的下载与安装

下载地址：[]http://vault.centos.org/]

安装教程：[]http://jingyan.baidu.com/article/a3aad71aa180e7b1fa009676.html]

（二），软件下载

Hadoop:[]http://archive.apache.org/dist/hadoop/common/]

jdk:[]https://www.oracle.com/index.html]

zookeeper:[]https://www.apache.org/]

二，前期准备

（一），Linux环境准备：

1，修改主机名称：hostnamectl set -主机名。

2，查看IP地址：注意！！！！此IP地址是内网的IP地址。如果在虚拟机上搭建要使用桥接模式！！这样集群的节点才可以互相通信！

3，修改主机与IP的映射关系：sudo vim /etc/hosts ，格式 :IP地址 主机名

4，关闭防火墙：一定要关闭，否则后面集群节点通信会出现很多问题，centos 7 的命令与以往版本不同。

关闭防火墙：systemctl stop firewalld.service
禁止开机启动：systemctl disable firewalld.service
开启 firewall start
查看状态：firewall-cmd --status

5，安装jdk,Hadoop，解压到自己指定的目录后，将 Java，Hadoop添加到环境变量中

vim /etc/profile

在文件最后添加：

export JAVA_HOME=/home/yang/server/jdk1.8.0_101

export HADOOP_HOME=/home/yang/server/hadoop-2.7.2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

刷新配置：source /etc/profile

（二），集群规划

1，集群规划



2，修改hosts文件

修改每个节点上主机与IP的映射关系。

二，开始搭建

（一），zookeeper集群搭建

1，先在server04解压

tar -zxvf zookeeper-3.4.9.tar.gz

2，修改配置

cd /home/yang/server/zookeeper-3.4.9/conf/

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：dataDir=/home/yang/server/zookeeper-3.4.9/tmp

在最后添加：

server.1=server04:2888:3888

server.2=server05:2888:3888

server.3=server06:2888:3888

保存退出

然后创建一个tmp文件夹

mkdir /home/yang/zookeeper-3.4.5/tmp

再创建一个空文件

touch /home/yang/zookeeper-3.4.5/tmp/myid

最后向该文件写入ID

echo 1 > /home/yang/zookeeper-3.4.5/tmp/myid

3，在server05，server06重复步骤1，2。

4，测试是否正常运行

进入3个节点的 /home/yang/server/zookeeper-3.4.9/bin目录下运行

./zkServer.sh start 启动zookeeper

./zkServer.sh status 查看状态一个leader 两个follower

具体的指令大家自学吧，就不写出来了。

（二），hadoop集群搭建

通过修改配置文件来进行集群的搭建

hadoop 的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd /home/yang/server/hadoop-2.7.2/etc/hadoop

1，修改hadoo-env.sh`

export JAVA_HOME=/home/yang/server/jdk1.8.0_101

2，修改core-site.xml

<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/yang/server/hadoop-2.7.2/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>server04:2181,server05:2181,server06:2181</value>
</property>
</configuration>

3，修改hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>server01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>server01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>server02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>server02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://server04:8485;server05:8485;server06:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/yang/server/hadoop-2.7.2/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--><property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/yang/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>10000</value>
</property>
</configuration>

4，修改mapred-site.xml

mv mapred-site.xml.t….. mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5，修改yarn-site.xml

<configuration>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>server03</value>
</property>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

6， 修改slaves(slaves是指定子节点的位置，因为要在itcast01上启动HDFS、在itcast03启动yarn，所以itcast01上的slaves文件指定的是datanode的位置，itcast03上的slaves文件指定的是nodemanager的位置)

server04
server05
server06

（三），配置免密码登陆

首先要配置server01到server02、server03、server04、server05、server06的免密码登陆

在server01上生产一对钥匙

查看ls -la是否有.ssh文件，若无就运行ssh server01,这时产生.ssh文件。

cd /home/yang/.ssh

ssh-keygen -t rsa（回车）

将公钥拷贝到其他节点，包括自己

ssh-coyp-id server01

ssh-coyp-id server02

ssh-coyp-id server03

ssh-coyp-id server04

ssh-coyp-id server05

ssh-coyp-id server06

其他节点也是同样

三，测试

注意：严格按照下面的步骤

（一），启动zookeeper集群（分别在itcast04、itcast05、itcast06上启动zk）

cd /home/yang/server/zookeeper-3.4.9/bin

./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

（二），在server01启动journalnode（在server04,05,06上启动所有journalnode，注意：是调用的hadoop-daemon.sh这个脚本，注意是复数s的那个脚本）

cd /home/yang/server/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode

运行jps命令检验，server04、server05、server06上多了JournalNode进程

（三），格式化HDFS

在server101上执行命令:hdfs namenode -format

格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/yang/server/hadoop-2.7.2/tmp，然后将/home/yang/server/hadoop-2.7.2/tmp拷贝到itcast02的/home/yang/server/hadoop-2.7.2下。

scp -r tmp/ server02:/home/yang/server/hadoop-2.7.2

（四），格式化ZK(在server01上执行即可)

hdfs zkfc -formatZK

（五），启动HDFS(在server01上执行)

/home/yang/server/hadoop-2.7.2/sbin/start-dfs.sh

（六），启动YARN(#####注意#####：是在itcast03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

/home/yang/server/hadoop-2.7.2/sbin/start-yarn.s

到此，hadoop配置完毕，可以统计浏览器访问:

http://172.28.94.29:50070

NameNode ‘server01:9000’ (active)

http://172.28.94.26:50070

NameNode ‘server02:9000’ (standby)