Ubuntu12.04搭建hadoop集群版环境

今天终于在亚运和二哥的教导下终于把hadoop集群的环境搭建好了，搭建的流程和单机版基本差不多，但是搭建过程中也遇到了许多的困难，例如：ssh授权这块，搭建过程中，出现的问题很多，导致我耽误了好长的时间！现在我把我的搭建过程梳理一下，如果有什么问题，请多多指教！

一. 搭建环境前的准备：

我的本机Ubuntu 12.04 32bit作为maser，就是上篇hadoop单机版环境搭建时用的那台机子，

还在KVM中虚拟了4台机子，分别起名为：

son-1 (ubuntu 12.04 32bit)，

son-2 (ubuntu 12.04 32bit)，

son-3 (centOS 6.2 32bit)，

son-4 (redhat 6.0 32bit).

kvm的搭建详见：http://www.db89.org/post/2012-05-25/kvmxuniji

kvm的桥接设置详见：http://www.db89.org/post/2012-05-27/kvmnetset

Ubuntu12.04搭建hadoop单机版环境详见：http://www.db89.org/post/2012-06-03/hadoopdanjihuanjing

下来修改本机的host文件，

在后面添加内容为：

现在开始我们的打建之旅吧。

二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组，其实ubuntu和centos下创建用户还多少还是有点区别的。

ubuntu下创建：

先创建hadoop用户组：

然后创建hadoop用户：

centos 和 redhat 下创建：

注：在centos 和 redhat下直接创建用户就行，会自动生成相关的用户组和相关文件，而ubuntu下直接创建用户，创建的用户没有家目录。

给hadoop用户添加权限，打开/etc/sudoers文件;

按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限。

在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL，

三. 为本机(master)和子节点(son..)安装JDK环境。

ubuntu下一条命令即可：

centos和redhat建议下载源码安装。
详见：http://www.db89.org/post/2012-07-02/centosjava

四. 修改 本机(master)和子节点(son..)机器名
打开/etc/hostname文件;

分别修改为：master son-1 son-2 son-3 son-4。这样有利于管理和记忆！

五. 本机(master)和子节点(son..)安装ssh服务

主要为ubuntu安装，cents和redhat系统自带。

ubuntu下：

这时假设您已经安装好了ssh，您就可以进行第六步了哦~

六. 先为建立ssh无密码登录环境

做这一步之前首先建议所有的机子全部转换为hadoop用户，以防出现权限问题的干扰。
切换的命令为：

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。

1. 创建ssh-key，，这里我们采用rsa方式;

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

七. 为本机mater安装hadoop

我们采用的hadoop版本是：hadoop-0.20.203（http://www.apache.org/dyn/closer.cgi/hadoop/common/ ），因为该版本比较稳定。

1. 假设hadoop-0.20.203.tar.gz在桌面，将它复制到安装目录 /usr/local/下；

2. 解压hadoop-0.20.203.tar.gz；

3. 将解压出的文件夹改名为hadoop;

4. 将该hadoop文件夹的属主用户设为hadoop，

5. 打开hadoop/conf/hadoop-env.sh文件;

6. 配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）;

7. 打开conf/core-site.xml文件;

编辑如下：

8. 打开conf/mapred-site.xml文件;

编辑如下：

9. 打开conf/hdfs-site.xml文件;

编辑如下：

10. 打开conf/masters文件，添加作为secondarynamenode的主机名，这里需填写 master 就Ok了。

11. 打开conf/slaves文件，添加作为slave的主机名，一行一个。

这里填成下列的内容 ：

八. 要将master机器上的文件一一复制到datanode机器上(son-1，son-2，son-3，son-4都要复制)：（这里以son-1为例子）

1. 公钥的复制

2. hosts文件的复制

注：这里如果不能复制，就先将文件复制到/home/hadoop下面，即为：

再在datanode机器上将其移到相同的路径下面/etc/hosts .

3. hadoop文件夹的复制，其中的配置也就一起复制过来了！

如果不能移动的话和上面的方法一样！

并且要将所有节点的hadoop的目录的权限进行如下的修改：

这些东西都复制完了之后，datanode机器还要将复制过来的公钥追加到收信任列表：

在每个子节点的自己种都要操作。

还有很重要的一点，子节点datanode机器要把复制过来的hadoop里面的data1,data2和logs删除掉!

还有要修改centos节点（son-3）和redhat节点（son-4）的java的环境变量地址，

配置centos节点（son-3）和redhat节点（son-4）的/usr/local/hadoop/conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）;这个环境不一，自己配置一下。

这样环境已经基本搭建好了，现在开始测试一下。

九. 这样之后基本上就差不多了，

首先进入master的hadoop目录.

首先可以做一下负载平衡，我担心这个加上会有点乱，但是没有这部分不影响运行，想了解的给我留言！

启动datanode和tasktracker:

启动全部服务直接一条命令：

查看自己的datanode是否启动.

当jps不能正常使用的时候：

连接时可以在namenode上查看连接情况:

详见下图：



也可以直接进入网址：

详见下图：

图1：



图2：



因为readhat的java环境还有点问题所以没有启动起来，其它的正常。

切记，上面的大多数操作请使用hadoop用户，要不然中间会出许多关于权限的问题。

到此整个环境的搭建工作就完成了，如果有什么问题，请给我留言，咱们可以互相交流！同时谢谢在我搭建环境中帮助过我的人!

From:XiYou.LinuxGroup.10.DuBin

2,

Ubuntu12.04下安装hadoop1.0.4

首先声明:如果能通过官方文档安装就尽量用官方的方法。

环境： linux :ubuntu 12.04

　　　　jdk：1.7.0_17

jdk安装：

1，在官网下载最新jdk后，解压

tar -zxvf jdk....

2(可省),把jdk放在/usr下

cp jdk /usr

3,修改/etc/profile :添加

export JAVA_HOME=/usr/jdk1.7.0_17
export JRE_HOME=/usr/jdk1.7.0_17/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

注意：JAVA_HOME,JRE_HOME应该是你解压后jdk文件的位置

4，查看是否安装成功

source /etc/profile
java -version

安装成功应该可以看到类似的，否则重新再安装一遍把

java version "1.7.0_17"
Java(TM) SE Runtime Environment (build 1.7.0_17-b02)
Java HotSpot(TM) Server VM (build 23.7-b01, mixed mode)

2，SSH安装

sudo apt-get install ssh
sudo apt-get install rsync

3，安装hadoop1.0.4

1，下载，解压，(改名，放置)。

2，修改 hadoop1.0.4下conf/hadoop-env.sh中的JAVA_HOME （和jdk上面的一样）

3，在hadoop1.0.4文件夹下，输入
bin/hadoop (This will display the usage documentation for the
hadoop script.)

1，Local (Standalone) Mode测试

在hadoop目录下，最好带sudo。

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
$ cat output/*

2，Pseudo-Distributed Mode

1，修改配置文件

　　conf/core-site.xml:

　　

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

　　　　conf/hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

　　　　 conf/mapred-site.xml:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

2，设置ssh

ssh localhost

ssh localhost这需要密码，如果去掉密码的话就需要命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3,格式化namenode

明显在hadoop目录下

bin/hadoop namenode -format

4，启动hadoop守护进程(the hadoop daemons)

bin/start-all.sh

5,查看是否配置成功

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
　6，关闭守护进程

bin/stop-all.sh

我自己安装时参考来他们的以及书上的，自己正在整理，待续。。。