Ubuntu下伪分布式模式Hadoop的安装及配置

1、Hadoop运行模式

Hadoop有三种运行模式，分别如下：

单机(非分布式)模式

伪分布式(用不同进程模仿分布式运行中的各类节点)模式

完全分布式模式

注：前两种可以在单机运行，最后一种用于真实的集群环境，通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。

2、Hadoop的安装及配置

环境：Ubuntu10.10，Hadoop 0.21.0

安装步骤如下：

1、准备工作：

1)、安装ssh server，如何安装ssh server请看http://www.tieguanyin168.com/index.php/ubuntu-ssh-1650.html。

2)、安装sun jdk6，切忌一定要java6及其以上版本，如何安装jdk6请看http://www.tieguanyin168.com/index.php/ubuntu-jdk-1631.html。

2、增加一个用户组用户，用于hadoop运行及访问。

root@ubuntu:~# sudo addgroup hadoop

root@ubuntu:~# sudo adduser –ingroup hadoop hadoop

3、生成SSH证书，配置SSH加密key

hadoop@ubuntu:~$ su – hadoop

Password:

hadoop@ubuntu:~$ ssh-keygen -t rsa -P ""

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):

Your identification has been saved in /home/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

a8:67:6f:bd:04:13:41:5f:a7:13:2d:84:e7:8a:8c:43 hadoop@ubuntu

The key's randomart image is:

+–[ RSA 2048]—-+

| .o o+.. |

| o..o+. |

| . .oo. |

| E. . .. |

| ..oS. . |

| .o oo. |

| . o. .. |

| o …. |

| .. .. |

+—————–+

hadoop@ubuntu:~$

hadoop@ubuntu:~$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

hadoop@ubuntu:~$

4、配置完成，测试一下：

hadoop@ubuntu:~$ ssh localhost

The authenticity of host 'localhost (::1)' can't be established.

RSA key fingerprint is d7:87:25:47:ae:02:00:eb:1d:75:4f:bb:44:f9:36:26.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

Linux ubuntu 2.6.32-22-generic #33-Ubuntu SMP Wed Apr 28 13:27:30 UTC 2010 i686 GNU/Linux

Ubuntu 10.04 LTS

[...snipp...]

hadoop@ubuntu:~$

5、禁用ipV6配置：

打开sudo gedit /etc/sysctl.conf，此文件需要root权限。

再次打开文件中，追加如下：

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

重启，测试是否配置成功：

$ cat /proc/sys/net/ipv6/conf/all/disable_ipv6

如果是1就ok了。

下面就是安装Hadoop(Hadoop保存在/home目录下)了。

首先是：下载，解压缩，分配权限。

下载就不说了。

下载后运行如下：

root@ubuntu:~# cd /home

root@ubuntu:/home# ls

apache-tomcat-6.0.18 jdk1.6.0_30 study

hadoop jdk-6u30-linux-i586.bin ubuntu

hadoop-0.21.0.tar.gz ljq web.war

root@ubuntu:/home# sudo tar xzf hadoop-0.21.0.tar.gz

root@ubuntu:/home# ls

apache-tomcat-6.0.18 hadoop-0.21.0.tar.gz ljq web.war

hadoop jdk1.6.0_30 study

hadoop-0.21.0 jdk-6u30-linux-i586.bin ubuntu

root@ubuntu:/home# sudo mv hadoop-0.21.0 hadoop

root@ubuntu:/home# sudo chown -R hadoop:hadoop hadoop#chown [OPTION] [OWNER][:[GROUP]] FILE

root@ubuntu:/home#

到此就安装完毕。

配置环境变量(共有4处要配置)

1、在/home/hadoop/hadoop-0.21.0/conf/hadoop-env.sh文件中添加环境变量信息。

2、在/etc/profile文件中添加环境变量信息。

3、在/home/.bash_profile文件中添加环境变量信息。

4、在/home/hadoop/.bashrc文件中添加环境变量信息。

环境变量信息如下：

重启，接着验证环境变量是否配置成功，如下：

export、echo $HADOOP_HOME、java -version

下面说说如何配置和启动：

基本思路是配置core-site.xml、mapred-site.xml、hdfs-site.xml。

首先建立一个用来存放数据的目录：mkdir /home/hadoop/hadoop-datastore

打开/home/hadoop/hadoop-0.21.0/conf/core-site.xml,配置如下

打开/home/hadoop/hadoop-0.21.0/conf/mapred-site.xml,配置如下

打开/home/hadoop/hadoop-0.21.0/conf/hdfs-site.xml,配置如下

ok，配置完毕

格式化HDFS：

hadoop@ubuntu:~$ /home/hadoop/hadoop-0.21.0/bin/hadoop namenode -format

启动HDFS和MapReduce

hadoop@ubuntu:~/hadoop-0.21.0/bin$ ./start-all.sh

停止服务的脚本是：

hadoop@ubuntu:~/hadoop-0.21.0/bin$ ./stop-all.sh

通过jps查看进程是否启动成功

hadoop@ubuntu:~/hadoop-0.21.0/bin$ jps

5695 DataNode

5503 NameNode

6181 TaskTracker

6222 Jps

5890 SecondaryNameNode

5991 JobTracker



PS如果不能出现上面的六项，请重新配置

hadoop@ubuntu:~/hadoop-0.21.0/bin$

出现如上信息，表示hadoop启动成功，缺一不可。

netstat -at|grep 50030

netstat -at|grep 50070

查看端口是否正常

注意：有时候有些启动不成功，可以在/home/hadoop/hadoop-0.21.0/logs/查看日志信息进行诊断。

访问http://localhost:50070可以看到NameNode以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及日志等。

访问http://localhost:50030可以查看JobTracker的运行状态。

50070是dfs的端口，50030是MR的端口。