Hadoop伪分布环境搭建——Hadoop安装与配置

我们需要从官网下载hadoop 点击打开链接 我自己下载的是最新的版本 hadoop 2.7.1。

下载完成后就开始安装了：

使用 sudo tar xzf hadoop-2.7.1.tar.gz
命令将文件解压缩。在 /usr/local 目录下创建一个 hadoop 文件夹，然后将文件拷贝到这里来。

sudo
mv hadoop-2.7.1 /usr/local/hadoop

赋予用户对该文件夹的读写权限：sudo
chmod 774 /usr/local/hadoop。

配置

（1）配置 ~/.bashrc

配置该文件要知道Java的安装的路径，以便设置环境变量。可使用如下命令查看安装路径：

update-alternatives - -config java 这个是我的机器上的Java安装路径



找到路径之后就可以开始配置文件：sudo gedit ~/.bashrc

打开编辑窗口，在文件末尾添加下列内容，然后保存退出。



（2）配置 JAVA_HOME 变量

使用如下命令来编辑 /usr/local/hadoop/etc/hadoop/hadoop-env.sh ：

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

修改JAVA_HOME变量如下图：



配置 core-site.xml
在 /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。
编辑器中打开该文件，并进行如下修改：



配置 yarn-site.xml
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce启动时的配置信息。

打开方式同上，然后添加以下内容：



创建和配置 mapred-site.xml

默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。

复制并重命名：cp mapred-site.xml.template mapred-site.xml

编辑器打开此新建文件，并添加以下内容：



配置 hdfs-site.xml

/usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用，指定主机上作为namenode和datanode的目录。

首先在 /usr/local/hadoop 目录下文件夹 hdfs，然后在 hdfs 目录下创建 name 和 data 两个文件夹。

你也可以在别的路径下创建上图的文件夹，名称也可以与上图不同，但是需要和hdfs-site.xml中的配置一致。

然后用编辑器打开 hdfs-site.xml ，增加以下内容：



通过上面的步骤，配置基本就完成了，然后需要格式化 hdfs：hdfs namenode -format ,只需执行一次即可。

启动Hadoop

经过上文所描述配置和操作后，下面就可以启动这个单节点的集群

执行启动命令：sbin/start-dfs.sh
执行该命令时，如果有yes /no提示，输入yes，回车即可。

接下来，执行：sbin/start-yarn.sh
执行完这两个命令后，Hadoop会启动并运行。

执行 jps命令，会看到Hadoop相关的进程，如下图：



浏览器打开 http://localhost:50070/，会看到hdfs管理页面


浏览器打开http://localhost:8088，会看到hadoop进程管理页面