hadoop完全分布式安装配置

一、创建hadoop用户并配置ssh无密钥登录。
/article/7198303.html
二、安装jdk

三、解压hadoop压缩包
tar -xf hadoop-2.7.1.tar.gz
修改拥有者
chown -R hadoop:hadoop hadoop-2.7.1
四、添加hadoop环境变量
编辑/etc/profile文件追加

HADOOP_HOME=/usr/local/hadoop-2.7.1
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH
保存并退出

五、使环境变量生效
source /etc/profile

执行 hadoop version 查看是否配置成功

六、修改 hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_71

七、修改yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_71

八、修改slaves添加host:hddn141hddn142

九、修改配置文件 core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdnn140:9000/</value>
<final>true</final>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-2.6.0/tmp</value>
</property>
</configuration>
八、修改配置文件 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.6.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.6.0/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

dfs.replication配置了文件块的副本数，一般不大于从机的个数

九、修改配置文件 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hdnn140:10020</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hdnn140:19888</value>
<final>true</final>
</property>
</configuration>

这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn
十、 编辑yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hdnn140:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hdnn140:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hdnn140:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hdnn140:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hdnn140:8088</value>
</property>
</configuration>

十一、由于涉及到端口较多所以我们直接关闭防火墙
systemctl stop iptables

十二、将配置好的hadoop复制到其他节点
scp -r /usr/local/hadoop-2.7.1 root@hddn141:/usr/local
scp -r /usr/local/hadoop-2.7.1 root@hddn142:/usr/local

拷贝完成后，修改所有者
chown -R hadoop:hadoop hadoop-2.7.1

十三、对hdfs格式化,执行以下命令：
hdfs namenode -format

出现
Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.

搞定！

重新格式化namenode时，需先删除各节点的tmp文件

十四、启动sbin目录下
start-all.sh

十五、执行jps查看java进程
hdnn140服务器上5个进程：
Jps
16977 DataNode
29754 ResourceManager
17382 NodeManager
29447 NameNode
29620 SecondaryNameNode

hddn141服务器上2个进程：

Jps
hddn142服务器上2个进程：

Jps

十六、通过网址查看
http://192.168.152.140:8088/




完成！

说明：
1、hostname不要使用下划线。