简单的hadoop多节点环境搭建

简单的hadoop多节点环境搭建
一、下载hadoop

进入http://hadoop.apache.org/官网，下载需要的hadoop版本，本测试使用hadoop-1.2.1-bin.tar.gz，下载后，解压文件。

$ tar -zxvfhadoop-1.2.1-bin.tar.gz

版本说明请参考http://book.51cto.com/art/201312/422133.html

二、安装JDK,指定JAVA_HOME

在每个节点上通过下面的命令安装openjdk。

$ sudoapt-get install openjdk-7-jdk

更多内容清参考http://openjdk.java.net/install/index.html

进入hadoop中的conf/hadoop-env.sh文件

添加export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386

由于每个节点的JAVA_HOME有可能有所不同，需要根据具体情况来设置，ubuntu通过apt-get命令安装的JDK一般都会在/usr/lib/jvm中。

三、安装其他软件

为每个节点安装下列软件

$ sudo apt-getinstall ssh

$ sudoapt-get install rsync

四、修改hostname和hosts文件

1、进入/etc/hostname文件，将三个节点的hostname值分别改为hadoop.main,hadoop.slave,hadoop.slave1。

并在终端中输入hostname进行验证。

2、在hadoop.main节点进入/etc/hosts文件

添加如下对应关系，每个节点的IP地址通过ifconfig进行查询。

192.168.0.127 hadoop.main

192.168.0.104 hadoop.slave

192.168.0.106 hadoop.slave1

3、在hadoop.slave节点进入/etc/hosts文件

添加如下对应关系。

192.168.0.127 hadoop.main

192.168.0.104 hadoop.slave

4、在hadoop.slave1节点进入/etc/hosts文件

添加如下对应关系。

192.168.0.127 hadoop.main

192.168.0.106 hadoop.slave1

通过在每个节点上使用ping命令验证是否成功

如:ping hadoop.main

五、设置ssh为免密码登陆

1、在hadoop.main节点上运行如下命令

$ ssh-keygen-t dsa -P '' -f ~/.ssh/id_dsa

$ cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

进入~/.ssh文件夹，可以看到包含id_dsa.pub文件

通过scp命令将该文件拷贝到hadoop.slave节点的~/.ssh文件夹中

2、在hadoop.slave节点上将上述文件的内容加入到~/.ssh/authorized_keys文件的结尾

$ cd .ssh

$ scp id_dsa.pubhadoop.slave:~/.ssh

进入hadoop.slave节点~/.ssh文件夹

$ cd .ssh

$ cat id_dsa.pub>>authorized_keys

3、在hadoop.main节点，检验是否成功

$ ssh hadiip.slave

如果不提示输入密码，说明成功。

4、hadoop.slave1节点的操作同上

六、修改hadoop配制文件

每个节点的配制相同

conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop.main:9000</value>
</property>
</configuration>

conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop.main:9001</value>
</property>
</configuration>

conf/ masters

修改其中内容为

hadoop.main

conf/slaves

修改其中内容为

hadoop.slave

hadoop.slave1

上述两文件中，每一行只允许有一个名字进行填写。

七、运行

在hadoop.main节点上做如下操作

1、格式化hadoop的文件系统HDFS

$ bin/hadoop namenode -format

2、运行hadoop

$ bin/start-all.sh

3、检验是否安装成功

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/

4、退出hadoop

$ bin/stop-all.sh

八、实验环境

1、虚拟机

2、ubuntu13.04 ubuntu14.04

更详细的配制选项请参考http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html