在Centos系统中搭建Hadoop集群

之前我在一个Centos机器上面搭建了伪分布式的hadoop，接下来搭建多个机器的分布式hadoop集群。

首先定义一下集群的一些规则：

1、准备三台Centos系统（我都装在了虚拟机里面），版本一致，搭建的环境一致（创建相同的用户名，JDK，设置/etc/hosts及/etc/hostname）

2、配置三台机器的IP地址和主机名

2.1、192.168.128.130--master，namenode，jobtracker--master.dragon.org

192.168.128.131--slave，datanode，tasktracker--slave1.dragon.org

192.168.128.132--slave，datanode，tasktracker--slave2.dragon.org

PS:比较简单的一个办法就是先搭建好一台机器的hadoop环境，然后进行复制。



打开虚拟机，选择要加载的系统





然后把刚刚加载的系统重命名

CentOSMaster--》CentOSSlave1/CentOSSlave2

接着三台虚拟机都打开

会弹出是否复制该虚拟机，点击是

登录后首先配置主机名和IP地址

因为之前master已经配置好了，所以现在只需要配置slave1和slave2就可以了，如果不明白之前的一些配置，可以查看这里

master、slave1和slave2的配置基本相同:

配置IP地址和主机名

cd /etc/sysconfig/network-scripts/

</pre><img src="http://img.blog.csdn.net/20160217151139413?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" /><p></p><p></p><pre name="code" class="plain">vim ifcfg-eno16777736

保存退出

配置映射文件master,slave1,slave2都一致

vim /etc/hosts

配置主机名

vim /etc/hostname

slave2的hostname是slav2



配置hadoop的一些文件

进入到hadoop的conf目录

vim hdfs-site.xml

配置slaves文件

vim slaves

格式化hadoop

hadoop namenode -format

启动hadoop

/opt/modules/hadoop-1.2.1/bin/start-all.sh

在master节点上启动hadoop是这样的



用jps查看进程，是否启动成功

master节点



slave1和slave2节点的一致



在配置的时候需要注意的地方

机架数量需要确认，如果用N太机器搭建，机架数量必须是N

masters和slaves需要确认，必须正确使用机器名称

hosts和hostname需要确认，必须是IP对应主机名

各个机器的防火墙必须先关闭

各个机器的ssh必须是免密码登录的

各个机器必须能ping通