hadoop3.1.3分布式集群搭建

环境准备：
jdk1.8
centos6.10
zookeeper3.4.5
三台服务器免密登录配置完成(此处省略步骤)

1、上传Hadoop3.1.3安装包并解压
这里我是安装在/usr/local 这个路径下

解压：tar -zxvf /usr/local/hadoop-3.1.3.tar.gz

2、首先提前创建好需要的文件夹

mkdir -p /usr/local/hadoop/data
mkdir -p /usr/local/hadoop/dfs
mkdir -p /usr/local/hadoop/tmp

3、vi /etc/profile
配置hadoop的安装路径

export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile 才会生效

4、vi /etc/hosts
配置三台服务器的主机名和ip

192.168.130.28   myhbase
192.168.130.29   xmhl
192.168.130.30   xmhl30

5、vi core-site.xml

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://xmhl:9000</value>
tfs://
gfs://
file:///
</property>

<!-- 指定hadoop运行时产生文件的存储目录,默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

</configuration>

6、vi hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_141

7、vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

8、vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property><!--NodeManager上运行的附属服务，用于运行mapreduce-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>xmhl:8088</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>xmhl</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/etc/hadoop:/usr/local/hadoop-3.1.3/share/hadoop/common/lib/*:/usr/local/hadoop-3.1.3/share/hadoop/common/*:/usr/local/hadoop-3.1.3/share/hadoop/hdfs:/usr/local/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/usr/local/hadoop-3.1.3/share/hadoop/hdfs/*:/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*:/usr/local/hadoop-3.1.3/share/hadoop/yarn:/usr/local/hadoop-3.1.3/share/hadoop/yarn/lib/*:/usr/local/hadoop-3.1.3/share/hadoop/yarn/*</value>
</property>

<property>
<name> yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name> yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>

9、vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.http-address</name>
<!--这里是namenode的主机名-->
<value>xmhl:50070</value>
</property>
<property><!--namenode持久存储名字空间及事务日志的本地文件系统路径-->
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property><!--DataNode存放块数据的本地文件系统路径-->
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
<property><!--数据需要备份的数量，不能大于集群的机器数量，默认为3-->
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<!--这里是secondarynamenode的主机名-->
<value>myhbase:50090</value>
</property>

</configuration>

10、vi workers
配置三台服务器的主机名

xmhl
myhbase
xmhl30

以上1-10步骤三台服务器都要进行配置

11、第一次启动需要格式化namenode

hdfs namenode -format

12、启动hadoop

先启动HDFS  sbin/start-dfs.sh
再启动YARN  sbin/start-yarn.sh

或者一起启动  sbin/start-all.sh

13、验证是否启动成功

使用jps命令验证，出现以下进程即为启动成功
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

hadoop自带的UI界面：
http://192.xx.xx.xx:50070 （HDFS管理界面）
http://192.xx.xx.xx:8088 （MR管理界面）