Hadoop本地模式、伪分布式、完全分布式安装

准备工作：

Centos 7系统、4台虚拟机（相互免密登陆）、jdk1.8、关闭防火墙、设置静态IP

1、安装hadoop

a）下载hadoop-2.7.4.tar.gz

b）tar开

$>cd /zdq/soft
$>tar -xzvf hadoop-2.7.4.tar.gz -C /zdq

2、配置hadoop环境变量

vim /etc/profile
追加环境变量：
HADOOP_HOME=/zdq/hadoop-2.7.4
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、生效

$>source /etc/profile

一：本地模式。

什么都不用配置！
直接：hadoop version看见下面界面。说明配置成功：
![这里写图片描述](https://img-blog.csdn.net/20171002101703427?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxNDE4Mjc0NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
使用：

$>hdfs dfs -ls /

发现本地模式，就是使用的本地磁盘的内容。如下：

二、伪分布式模式

a）进入${HADOOP_HOME}/etc/hadoop目录
b）编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c）编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d）编辑mapre-site.xml
注意：cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e）编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
f)编辑hadoop-env.sh
修改：export JAVA_HOME=/zdq/jdk1.8.0_144
g）格式化namenode
$>hadoop namenode -format
h）启动所有进程
$>start-all.sh
i）查看进程：jps

连接网页：192.168.3.201:50070

三、完全分布式安装

a）修改配置文件
编辑：core-site.xml
fs.defaultFS=hdfs://service/
我在hosts文件
配置了：
192.168.3.201 service1
192.168.3.202 service2
192.168.3.203 service3
192.168.3.204 service4
编辑：hdfs-site.xml
dfs.replication=3
编辑：yarn-site.xml
yarn.resourcemanager.hostname=service1
编辑：slaves
service2
service3
service4

在201使用：jps

5153 ResourceManager

5002 SecondaryNameNode

4815 NameNode

202、203、204使用jps

2886 NodeManager

2823 DataNode

如果见到以上配置，那么恭喜您，配置完全正确、