Hadoop集群搭建，配置

hdfs 集群 文件读写

yarm集群 为mapreduce 程序分配运算硬件资源

推荐三台：

manage-PC datanode-1 datanode-2

name node 端口9000 data node data node

resouce manager node manager node manager

1、关闭防火墙。

2、创建hadoop 用户。

命令 : useradd hadoop

设置密码： passwd hadoop:

3、安装java 环境 ：

1、去 http://www.oracle.com/technetwork/java/javase/downloads/index.html下载最新的jdk .rmp

2、执行命令rpm -ivh jdk-8u121-linux-x64.rpm

结果：

准备中… ################################# [100%]

正在升级/安装…

1:jdk1.8.0_121-2000:1.8.0_121-fcs ################################# [100%]

Unpacking JAR files…

tools.jar…

plugin.jar…

javaws.jar…

deploy.jar…

rt.jar…

jsse.jar…

charsets.jar…

localedata.jar…

配置java_home 环境变量。

4、下载hadoop http://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/ hadoop-2.6.4.tar.gz

解压 hadoop-2.6.4.tar.gz tar -zxvf hadoop-2.6.4.tar.gz -C apps/

5、配置hadoop: 5个地方

1、hadoop-env.sh    修改JAVA_HOME参数、
export JAVA_HOME=${JAVA_HOME} 修改为  export JAVA_HOME=/usr/java/jdk1.8.0_121
2、core-site.xml
<property>
<name>fs.defaultFS</name>
<value>manage-PC:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
3、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
4、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

6、免密码登入

在manage-PC 进行配置 ，配置manage-PC 到manage-PC,datanode-1 ，datanode-2 免密码登入。

ssh-keygen

ssh-copy-id datanode-1

ssh-copy-id datanode-2

ssh-copy-id manage-PC

7、配置批量脚本命令。

把所有datanode 所在的主机名写入/etc/hadoo/slaves文件夹。