hadoop 学习之（一）搭建环境

环境说明

系统：centos 6.5

hadoop：2.7.1

JDK：1.7

虚拟机3台（1台 namenode；2台 datanode）

环境准备（可选）

准备了3台虚拟机，1台 namenode，叫 master；2台 datanode，分别叫 slave1 和 slave2。

修改主机名称

命令：vi /etc/sysconfig/network，修改 HOSTNAME=master（其他两台机器请自行修改成 slave1 和 slave2）。

IP 与主机名映射

命令：vi /etc/hosts，增加3行：

192.168.182.128 master

192.168.182.129 slave1

192.168.182.130 slave2

注：其中的 ip 为 主机名对应机器的ip（ip使用 ifconfig 命令查看）。

其他两台机器，做相同修改。

增加组、用户

– groupadd hadoopGrp #增加组

– useradd hadoop -g hadoopGrp #增加用户 hadoop，并将用户分配到组 hadoopGrp 中

– passwd hadoop #修改用户登录密码

其他两台机器，做相同修改。

创建文件夹 files，并将 hadoop 和 jdk 通过 ftp 上传到该目录下

## 请退出 root 用户，用 hadoop 用户登录

– mkdir files

– 请自行通过 ftp 工具，将文件上传到该目录下

其他两台机器，做相同修改（或使用 scp 命令直接传输文件）。

安装 JDK

– su - root ## 切换 root 用户

– [root@master ~]# rpm -ivh /home/hadoop/files/jdk-7u80-linux-x64.rpm ##安装 jdk

Preparing… ########################################### [100%]

1:jdk ########################################### [100%]

Unpacking JAR files…

rt.jar…

jsse.jar…

charsets.jar…

tools.jar…

localedata.jar…

jfxrt.jar…

– [root@master source]# rpm -ql jdk ## 查看 jdk 安装路径

…….

/usr/java/jdk1.7.0_80/src.zip

配置环境变量

– [root@master ~]# vi /etc/profile ##在文件最后增加 2 行，jdk 的目录是上面你自己机器加粗的部分。

JAVA_HOME=/usr/java/jdk1.7.0_80

export JAVA_HOME

– [root@master ~]# source /etc/profile

– [root@master ~]# echo $JAVA_HOME

其他两台机器做相同修改。

hadoop 配置

免密码登录

## hadoop 用户

[hadoop@master ~] $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

[hadoop@master ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[hadoop@master ~]$ chmod 0600 ~/.ssh/authorized_keys ## 这步特别重要，否则不能免密码登录

创建 .ssh 文件夹

## hadoop 用户，在 slave1 和 slave2 机器上创建

– [hadoop@slave1 ~]$ mkdir /home/hadoop/.ssh

– [hadoop@slave2 ~]$ mkdir /home/hadoop/.ssh

复制 master 公开密码，到 slave1 和 slave2 机器上

–[hadoop@master .ssh]$ scp ./authorized_keys hadoop@slave1:~/.ssh/

hadoop@slave1’s password:

authorized_keys

–[hadoop@master .ssh]$ scp ./authorized_keys hadoop@slave2:~/.ssh/

hadoop@slave1’s password:

authorized_keys

解压 hadoop 文件

## hadoop 用户

– [hadoop@master ~]$ cd /home/hadoop/files/

– [hadoop@master source]$ tar -xvf hadoop-2.7.1.tar.gz

– [hadoop@master source]$ mv hadoop-2.7.1 hadoop

其他两台机器做相同操作。

配置 namenoe 地址

## hadoop 用户

– [hadoop@master hadoop]$ vi /home/hadoop/files/hadoop/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

– [hadoop@master hadoop]$ scp /home/hadoop/files/hadoop/etc/hadoop/core-site.xml hadoop@slave1:/home/hadoop/files/hadoop/etc/hadoop/

– [hadoop@master hadoop]$ scp /home/hadoop/files/hadoop/etc/hadoop/core-site.xml hadoop@slave2:/home/hadoop/files/hadoop/etc/hadoop/

设置 namenode 和 datanode 目录

– [hadoop@master hadoop]$ vi /home/hadoop/files/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/files/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/files/hadoop/data/datanode</value>
</property>
</configuration>

配置 slave 机器

– [hadoop@master hadoop]$ vi etc/hadoop/slaves #增加两行

slave1

slave2

配置 JAVA_HOME

– [hadoop@master hadoop]$ vi etc/hadoop/hadoop-env.sh #修改成以下内容，大约在文件 25 行

export JAVA_HOME=/usr/java/jdk1.7.0_80 ## 配置成自己机器的 jdk 安装路径

其他两台机器做相同操作。

格式化 namenode

– [hadoop@master hadoop]$ /home/hadoop/files/hadoop/bin/hdfs namenode -format

– 启动 namenode

– [hadoop@master hadoop]$ /home/hadoop/files/hadoop/sbin/start-dfs.sh

查看 namenode

– 浏览器访问： http://192.168.182.128:50070/ #192.168.182.128 为 master 机器的 ip

上面的地址可能访问不了，因为 linux 的端口没有开放。此处为了方便，只能关闭了防火墙。

## root 用户

- [root@master ~]# /etc/init.d/iptables stop #上面的地址就可以了

## 可以看到 namenode 里有两个 datanode，分别叫 slave1 和 slave2



此时， hadoop 的环境就已经搭好了。

停止 namenode

– [hadoop@master hadoop]$ /home/hadoop/files/hadoop/sbin/stop-dfs.sh

因为怕读者不知道当前目录的位置，固采用绝对路径。如果读者清楚当前路径，采用相对路径即可。