Centos6.5 hadoop新增datanode

Centos6.5 64位hadoop新增datanode教程

本教程配置说明

目的: 为完全分布式的hadoop增添datamode新节点

本教程是在64位Centos6.5 Hadoop2.2.0 完全分布安装教程基础之上扩展的

在window上通过putty（或其他）工具连接上Linux服务器，进行配置

在每台linux服务器上如无特殊说明，均默认在hadoop用户下操作

三台Linux服务器的分布及其配置说明

集群关系	主机名	IP地址	JDK版本	免密SSH
namenode	name	10.10.108.160	OpenJDK.7.0	能
datanode	data2	10.10.108.180	OpenJDK.7.0	能
待新增节点	data3	10.10.108.170	OpenJDK.7.0	能

具体可参考： 64位Centos6.5 Hadoop2.2.0 完全分布安装教程

友情提示:

* 步骤1~3和7 只在datanode节点上操作

* 步骤4 需在新增datanode节点和namenode节点上共同操作

* 步骤5~6 只在namenode节点上操作

1. 创建与namenode主机相同的用户

在新增datanode主机上，创建 hadoop 用户，具体可参考创建用户

2. 为新增的datanode主机配置必要运行环境

为新增的datanode节点配置基本网络设置，可参考网络配置篇

配置好的IP，确保一定能与namenode节点通信（即ping 通）,当然能与其他datanode节点ping通也最好！按照本教程中的配置则在新增节点上则:

ping name

编辑 /etc/hosts 文件，将自身和namenode的IP信息、主机名记录下来,具体可参考网络配置篇中的Host配置。

3. JAVA_HOME配置

为新增的datanode节点配置JAVA_HOME,具体可参考:JAVA配置中的OpenJDK配置

4. 新增节datanode节点与namenode主机实现ssh免密码登陆

具体可参考：SSH 配置

* 只需保证新增datanode节点与namenode相互之间免密码登陆即可

5.在namenode节点上修改 slave文件

vim hadoop-2.2.0/etc/hadoop/slaves

在本教程中，新增如下内容:

6. 复制hadoop-2.2.0到新增节点上

在namenode节点上，将hadoop-2.2.0复制到新增节点上

scp  -r  hadoop-2.2.0  hadoop@data3:/home/hadoop/

7. 在新增节点下修改hadoop配置文件

在datanode节点下修改 yarn-env.sh，hadoop-env.sh。修改JAVA_HOME，该JAVA_HOME即为之前本机上配置的，具体参考64位Centos6.5 Hadoop2.2.0 完全分布安装教程中步骤4和9

在本教程中添加的 JAVA_HOME如下：

8. 测试

具体参考64位Centos6.5 Hadoop2.2.0 完全分布安装教程中的步骤12——验证 hadoop

所以当namenode启动dfs和yarn时，所有在线的datanode节点(当然包括此新增节点)也会启动相应的进程。