centos下的hadoop部署（64位）

一、配置软件环境

1、修改机器名

 su - root 

vim /etc/sysconfig/network

将“HOSTNAME=localhost.localdomain”中的“localhost.localdomain”替换成您需要使

用的机器名，此处命名BOSS，即：

HOSTNAME=BOSS       重启机器后更名操作才会生效

2、添加域名映射

ifconfig

假此机器的 ip 地址为“192.168.1.100” ，又此机器机器名为BOSS，则域名映射

应为：
192.168.1.100  BOSS

vim /etc/hosts         编辑域名映射文件“/etc/hosts” ，将上述内容添加入此文件

3、关闭防火墙

chkconfig --level 35 iptables off 



CentOS 的防火墙 iptables 默认情况下会阻止机器间通信，建议系统管理员开启

hadoop 需使用端口，也可以暂时关闭或永久关闭 iptables(不建议)

4、安装 jdk

用户需首先下载 jdk-x.rpm 包，如 jdk-7u40-linux-x64.rpm。打开刚才已经安装的 CentOS 机器，将 win7 下 jdk-7u40-linux-x64.rpm 拷贝至虚拟机下某位置，Termianl 下执

行(此方式安装的 jdk 无需配置 java_home)

 rpm -ivh /home/joline/jdk-7u40-linux-x64.rpm        hadoop 只能使用 oracle 的 1.6 及其以上版的 jdk，不能使用 openjdk

 java




现有三台机器，且其都刚安装好 CentOS 系统，安装系统时用户名皆为 joline，要求将此三台机器机器名分别修改为 BOSS，FC 和 FX，接着添加域名映射，关闭防火强，并安装 jdk。


[root@BOSS ~]# ifconfig #查看 BOSS 机器 ip 地址

[root@FC ~]# ifconfig #查看 FC机器 ip 地址

[root@FX ~]# ifconfig #查看FX 机器 ip 地址

假定这三台机器对应的 ip 地址为：

192.168.1.100 BOSS

192.168.1.101 FC

192.168.1.102 FX

接着分别编辑每台机器的“/etc/hosts”文件，将上述内容添加进此文件即可，注意三台

机器都要添加。

[root@BOSS~]# vim /etc/hosts #编辑 BOSS 的域名映射文件

[root@FC ~]# vim /etc/hosts #编辑FC 的域名映射文件

[root@FX ~]# vim /etc/hosts #编辑 FX 的域名映射文件

添加域名映射后，用户就可以在BOSS上直接 ping 另外两台机器的机器名了，如：

[root@BOSSr ~]# ping FC #在 BOSS上 ping 机器 FC

二、Hadoop的安装

1、下载 hadoop

2、解压 hadoop

分别以 joline 用户登录三台机器，每台都执行如下命令解压 hadoop 文件：

[joline@BOSS ~]# tar –zxvf /home/joe/hadoop-2.2.0.tar.gz #BOSS 上 joline 用户解压 hadoop

[joline@FC ~]# tar –zxvf /home/joe/hadoop-2.2.0.tar.gz 

[joline@FX ~]# tar –zxvf /home/joe/hadoop-2.2.0.tar.gz 

3、配置 hadoop（三台机器都要配置，且配置相同）

首先，编辑文件“/home/joline/hadoop-2.2.0/etc/hadoop/hadoop-env.sh” ，找到如下一行：

export JAVA_HOME=${JAVA_HOME}

将这行内容修改为：

4000
export JAVA_HOME=/usr/java/jdk1.7.0_40

这里的“/usr/java/jdk1.7.0_40”就是 jdk 安装位置

接着， 编辑文件 “/home/joline/hadoop-2.2.0/etc/hadoop/core-site.xml” ， 并将如下内容嵌入到

此文件里 configuration 标签间，和上一个操作相同，三台机器都要执行此操作：

<property><name>hadoop.tmp.dir</name><value>/home/joline/cloudData</value></property>

<property><name>fs.defaultFS</name><value>hdfs://BOSS:8020</value></property>

编辑文件 “/home/joline/hadoop-2.2.0/etc/hadoop/yarn-site.xml” ， 并将如下内容嵌入到此文件

里 configuration 标签间，同样，三台机器都要执行此操作：

<property><name>yarn.resourcemanager.hostname</name><value>BOSSr</value></property>

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>




最后，将文件“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template”重命名为

“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml” ，接着编辑此文件并将如下内容嵌入到

此文件的 configuration 标签间，同样，三台机器都要执行此操作：

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

7、启动 hadoop

[joline@BOSS ~]# hadoop-2.2.0/bin/hdfs namenode -format #格式化主节点命名空间

[joline@FC ~]# hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode#BOSS 启动存储主服务

[joline@FX ~]# hadoop-2.2.0/sbin/yarn-daemon.sh start resourcemanager  #启动资源管理主服务

最后，在从节点上启动存储从服务 datanode 和资源管理从服务 nodemanager，注意，FC 和 FX这两台机器上都要执行，对应命令如下：

[joline@FC ~]# hadoop-2.2.0/sbin/hadoop-daemon.sh start datanode #FC 启动存储从服务

[joline@FC ~]# hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager #FC 启动资源管理从服务

[joline@FX ~]# hadoop-2.2.0/sbin/hadoop-daemon.sh start datanode #FX 启动存储从服务

[joline@FX ~]# hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager #FX 启动资源管理从服务

8、测试 hadoop

可以分别在三台机器上执行如下命令，查看 hadoop 服务是否已启动:

$ /usr/java/jdk1.7.0_40/bin/jps #jps 查看 java 进程

$ ps –ef | grep java #ps 查看 java 进程

您会在 BOSS 上看到类似如下信息：
       

3056 ResourceManager #资源管理主服务

2347 NameNode #存储主服务

而 FC 和FX 上看到类似如下信息：

4021 DataNode #存储从服务

2761 NodeManager #资源管理从服务

此外，还可以任选一台机器，如 BOSS，打开 CentOS 默认浏览器 firefox，地址栏输入

“BOSS:50070” ， 即可在 web 界面看到 hdfs 相关信息； 同理， 地址栏输入 “BOSS:8088” ，

即可在 web 界面看到 yarn 相关信息。