虚拟环境下搭建hadoop之二——安装JDK和hadoop

这是本人初学搭建hadoop的配置步骤，比较适合新手参考，高手可帮忙矫正此文，不甚感激。

实验环境说明：使用的虚拟机软件是VMware Workstation 12 Pro

虚拟机操作系统版本是CentOS6.7

JDK版本是jdk-7u79-linux-x64.rpm

hadoop版本是hadoop-1.0.0.tar.gz

（如果需要以上文件，可留言与本人联系）

【以下编号接上一篇博客】

5 安装JDK

首先从Oracle官网下载jdk，这里使用版本是jdk-7u79-linux-x64。将JDK上传至master主机。这里有两种方式，第一种是如果有图形界面且安装了vmware tools的话，可以直接将文件复制到/home/master-un/Documents目录下。第二种是如果不是图形界面，那么需要使用FTP工具将文件上传至master主机。这里采用第一种方式。

在/usr目录下创建java文件夹，将/home/master-un/Documents中的JDK文件复制到java文件夹中。命令如下：



进入java文件夹中，通过如下命令是jdk-7u79-linux-x64.rpm获得可执行权限，并安装JDK。



进入”/etc/profile”文件：


 

在”/etc/profile”文件末尾追加Java环境变量，修改结果如下:



保存退出，运行”source /etc/profile”使修改生效：



到这里，JDK安装完毕。接下来我们验证一下是否安装成功，最简单的验证方法是”运行java -version”命令：



如果出现类似上图的JDK版本信息，那么配置成功，否则，配置失败。

以相同的方式在另外两台主机上安装JDK，并配置环境变量。

6 Hadoop集群安装

以下步骤，除特殊说明，均在master主机上操作。

6.1 安装hadoop

首先从网上下载hadoop的安装包，这里使用版本是hadoop-1.0.0。将hadoop-1.0.0.tar.gz上传至master主机。这里有两种方式，第一种是如果有图形界面且安装了vmware tools的话，可以直接将文件复制到/home/master-un/Documents目录下。第二种是如果不是图形界面，那么需要使用FTP工具将文件上传至master主机。这里采用第一种方式。

将/home/master-un/Documents中的hadoop-1.0.0.tar.gz文件复制到/usr文件夹中。命令如下：



进入/usr目录，解压hadoop-1.0.0.tar.gz，命令如下：



解压完毕，可以在/usr目录下看到hadoop-1.0.0文件夹，为了方便配置，将该文件夹重命名为hadoop，命令如下：



如果使用的是非root用户操作，则需要给相应用户分配读权限，命令如下：



上述命令中，haddoop-un是你需要赋予读权限的用户名，冒号后面的master是该机器的主机名，最后一个hadoop是相应的文件夹。

此时可以将hadoop-1.0.0.tar.gz删除，命令如下：



将hadoop的安装路径追加到”/etc/profile”末尾，命令如下：



 

追加结果如下：



运行如下命令使修改生效：



6.2 配置hadoop(master主机)

Hadoop配置文件在conf目录下，之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

（1） 配置hadoop-env.sh文件

该文件位于”/usr/hadoop/conf”目录下，运行如下命令进入hadoop-env.sh：



修改结果如下：



（2） 配置core-site.xml文件

首先在hadoop目录下创建tmp文件夹，作为系统的临时目录：



该文件位于”/usr/hadoop/conf”目录下，运行如下命令进入core-site.xml：


 

修改结果如下：



备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

（3） 配置hdfs-site.xml文件

该文件位于”/usr/hadoop/conf”目录下，运行如下命令进入hdfs-site.xml：



修改结果如下：



备注：replication 是数据副本数量，默认为3。这里因为只有两台datanodez主机，所以设置成2。

（4） 配置mapred-site.xml文件

该文件位于”/usr/hadoop/conf”目录下，运行如下命令进入mapred-site.xml：



修改结果如下：



（5） 配置masters文件

有两种配置方案：

第一种是修改masters文件中的localhost为master；第二种方案是将localhost修改为master主机的IP地址。这里推荐使用第二种方案，因为如果忘记配置”/etc/hosts”，局域网的DNS将失效，这样将无法找到相应主机。但是如果用IP进行配配置，在网络畅通的情况下，将不存在这种问题。

该文件位于”/usr/hadoop/conf”目录下，运行如下命令进入masters：



修改结果如下：



（6） 配置slaves文件

只有master主机需要配置slaves文件，配置方式同样有两种：

第一种是删除slaves文件中的localhost，然后添加slave1和slave2的主机名；第二种方案是删除slaves文件中的localhost，然后添加slave1和slave2的P地址。这里推荐使用第二种方案。

该文件位于”/usr/hadoop/conf”目录下，运行如下命令进入slaves：



修改结果如下：



到这里master主机配置完成。

6.3 配置hadoop(slave主机)

对于slave1和slave2主机，配置方法有两种：

第一种，根据6.2中的步骤，分别在slave1和slave2主机上操作一遍即可。

第二种，将master主机的/usr/hadoop文件夹分别复制到slave1主机和slave2主机的/usr目录下，命令如下：



同时需要分别在两个主机的/etc/profile文件末尾追加hadoop的安装路径。