Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境

相关环境：

虚拟机：VMWare（64位）

Linux版本：centOS6.5 64位

Windows版本：win10 64位

Hadoop版本：2.6.0

Linux中JDK版本：1.7.0_71（64位）

参考网页：

搭建伪分布式环境的网页

本文是集成上述网页的主要步骤，然后在配置文件的时候略作修改，是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插了一些自己搭建环境时遇到的问题。

在Windows中安装hadoop2.6.0-eclipse-plugin插件的步骤，见我的下一篇文章——Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件

安装虚拟机

安装虚拟机及在虚拟机中安装Linux的步骤在这里不详述，网上对这方面的介绍比较多且没有太大难度。

安装配置Linux中的一些环境

1）安装Linux中的JDK

在Linux中安装JDK，在这里也不详述。

2）修改主机名

通过sudo vi /etc/sysconfig/network将主机名修改为master。如下图所示：



重启Linux后查看结果：



3）修改hosts中的主机名

通过sudo vi /etc/hosts修改hosts文件，其中192.168.253.130是我Linux的ip地址。如下图所示：



4）配置SSH



进入.ssh目录并生成authorized_keys文件：



授权.ssh/文件夹权限为700，authorized_keys文件权限为600（or 644）



ssh验证



5）安装hadoop

去官网下载hadoop安装包，这里的版本是2.6.0。http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下载成功后，解压在合适的目录中。

通过sudo vi ~/.bash_profile配置环境变量，分别配置HADOOP_HOME和PATH：



修改后，使用source ~/.bash_profile是修改后的环境变量生效。

在hadoop目录下创建文件夹：



接下来开始配置hadoop的各种文件，首先进入hadoop的配置文件夹：



修改配置文件hadoop-env.sh，加入"JAVA_HOME"，如下所示：



指定我们自己的"JAVA_HOME"：



修改yarn-env.sh，加入JAVA_HOME：



指定我们自己的JAVA_HOME：



修改配置文件 mapred-env.sh，加入JAVA_HOME：



加入我们自己的JAVA_HOME



修改slaves文件：



设置从节点为master，因为我们是伪分布式：



修改配置文件core-site.xml：



修改core-site.xml后：



修改hdfs-site.xml，修改前：



修改后：



修改yarn-site.xml，修改前：



修改后：



启动并验证hdfs文件系统是否配置成功：

首先，格式化hdfs文件系统：





然后cd到sbin目录中，分别启动dfs和yarn：



然后就可以通过web控制台查看hdfs了，地址：http://linux的ip:50070/。如果不是用当前Linux访问，而是别的电脑，访问的该地址的时候可能访问不到，此时需要考虑是否是Linux防火墙的问题。





点击"Live Nodes"，查看一下其他信息：



现在试着向hdfs中上传一个文件：



hadoop web控制台页面的端口整理：

50070：hdfs文件管理

8088：ResourceManager

8042：NodeManager

19888：JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)