hadoop-1.2.1添加节点的方法

本帖介绍如何在已存在的集群环境增加节点，增加节点的大部分步骤都和安装步骤一样，在看本教程时需要结合hadoop-1.2.1安装方法详解一起进行，否则不易弄明白，hadoop-1.2.1集群安装方法参考 hadoop-1.2.1安装方法详解

添加节点的步骤如下:

1、安装VMware软件，然后在VMware里安装三台Linux虚拟机(我使用的是redhat)

2、设置虚拟机

主机名	ip	内存	硬盘
slave3	192.168.10.203	500M	8G

3、关闭防火墙(slave3节点)(学习时可以直接关闭，正式环境是通过开放端口)

service iptables stop 停止防火墙服务，重启电脑后仍然会开启

chkconfig iptables off 关闭防火墙服务开机启动，重启后生效

可以两个命令结合使用避免重启

4、关闭SELINUX(slave3节点)

修改/etc/selinux/config 中的SELINUX="" 为 disabled

5、修改hosts文件(四台主机)

在hosts文件中添加或修改一下内容

192.168.10.200 master

192.168.10.201 slave1

192.168.10.202 slave2

192.168.10.203 slave3

根据hadoop-1.2.1安装方法详解里的方式，我这里仍旧按下面的方式添加修改

192.168.10.200 mdw master

192.168.10.201 sdw1 slave1

192.168.10.202 sdw2 slave2

192.168.10.203 sdw3 slave3

6、安装java环境(slave3节点)

上传jdk文件并授权之后，执行安装配置

[root@sdw3 temp]# . /jdk-6u45-linux-i586-rpm.bin

验证jdk安装

[root@sdw3 temp]# java -version

java version "1.6.0_45"

Java(TM) SE Runtime Environment (build 1.6.0_45-b06）

Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)

7、创建hadoop用户，并设置密码(slave3节点)

[root@sdw3 temp]# useradd hadoop

[root@sdw3 temp]# passwd hadoop

8、设置无密码登录，方法参考 hadoop-1.2.1安装方法详解 中的步骤6，设置好之后4台主机间便可以互相无密码登录

9、修改master节点的slaves配置文件，增加slave3，并将slaves发送到slave1和slave2节点

修改/home/hadoop/hadoop-1.2.1/conf/slaves文件，内容改为：

slave1

slave2

slave3

发送到slave1节点和slave2节点

[hadoop@mdw ~]$ scp
hadoop-1.2.1/conf/slaves slave1:~/hadoop-1.2.1/conf/

[hadoop@mdw ~]$ scp
hadoop-1.2.1/conf/slaves slave2:~/hadoop-1.2.1/conf/

注：这里可以不用发送而直接在slave1和slave2上修改

10、将在Master节点上配置好的hadoop目录复制到slave3

[hadoop@mdw ~]$ scp
hadoop-1.2.1/ slave3:~

11、配置环境变量

将master节点的 .bashrc文件发送到slave3节点,并使之生效

12、创建/data/hadoop目录，并且将所属用户改为hadoop(slave3节点)

13、启动datanode和tasktracker进程(slave3节点)

[hadoop@sdw3 ~]$ hadoop-daemon.sh
start datanode

starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-sdw3.out

[hadoop@sdw3 ~]$ hadoop-daemon.sh start
tasktracker

starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-sdw3.out

[hadoop@sdw3 ~]$ jps

5230 DataNode

5433 Jps

5348 TaskTracker

通过jps命令可以看到datanode进程和tasktracker进程已成功启动

14、在master节点上运行start-balancer.sh进行数据负载均衡

[hadoop@mdw ~]$ start-balancer.sh

starting balancer, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-balancer-mdw.out

Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved

The cluster is balanced. Exiting...

到此slave3节点已成功添加到hadoop集群之中