Hadoop2.6.0集群搭建

一、Hadoop简述
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
在该实验中，我选择的是在CentOS5.8上安装hadoop2.6.0版本。
二、安装CentOS5.8
1. 在VirtualBox中选择新建虚拟机















2. 选择分区：
boot : 100M
swap : 选择内存的1.5倍
/ : 分配剩余的存储
3. 安装完系统之后进行命令：set up
setup --->选择 service system
只留4项服务：
crond
network
ssh
syslog
三、Hadoop搭建步骤
因为我的电脑内存比较小，没能同时启动很多台虚拟系统，因此在该实验中，我只安装三台虚拟机器来完成hadoop的搭建。
1. 环境准备
集群中一共安装三台机器：
master : master/192.168.10.1
slave1 : slave01/192.168.10.2
slave2 : slave02/192.168.10.3
刚开始就只需要新建一台虚拟机器master就可以，之后配置完一系列的操作之后再复制两台服务器分别重命名为slave01、slave02
2. 修改主机名
因为不同的虚拟机版本会导致主机名的配置文件位置不一样，我这里用的是CentOS5.8，所以该配置文件在/etc/sysconfig/network.
在该配置文件中，将hostname的值设置master。修改之后重启系统。
NETWORKING=yes
HOSTNAME=master
3. 修改ip
i. 修改虚拟机的网络选项为：仅主机host-only适配器
ii. 修改windows下虚拟网卡选项[VirtualBox Host-only Network]
将IPV4的IP地址值改为 192.168.10.253
iii. vi /etc/sysconfig/network-scripts/ifcfg-eth0 将修改值如下：
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.10.1
NETMASK=255.255.255.0
GATEWAY=192.168.10.253
iv. 将修改立即生效：
service network restart
4. 配置hosts文件
vi /etc/hosts
192.168.10.1 master
192.168.10.2 slave01
192.168.10.3 slave02
5. 安装jdk
i. 在网上下载jdk安装包之后放到想放的位置，安装完之后修改软连接。我将其安装在/usr/local/下。
ii. 解压安装jdk，并创建软连接：
tar -zxvf jdk-8u65-linux-x64.tar.gz /usr/local
ln -s /usr/local/jdk1.6.0_45 /usr/local/jdk
iii. 修改环境变量
touch /etc/profile.d/java.sh
vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin
iv. 立即生效
source /etc/profile
在命令行输入java -version
---显示如下便表示安装完毕：
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
6. 安装hadoop
i. 先关闭防火墙
0.1#service iptables stop
0.2#chkconfig iptables off
0.3#iptables -F
0.4#/etc/init.d/iptables save
0.5#vi /etc/selinux/config
SELINUX=disabled
ii. 创建使用的用户帐户
/usr/sbin/groupadd hadoop
/usr/sbin/useradd hadoop -g Hadoop
设置密码：
passwd Hadoop
iii. 创建hadoop工作目录/数据目录
mkdir -p /application/hadoop
mkdir -p /data/hadoop
mkdir -p /data/hadoop/hdfs/name
mkdir -p /data/hadoop/hdfs/data
mkdir -p /data/hadoop/hdfs/tmp
修改目录所属组及所属用户：
chown -R hadoop:hadoop /data/hadoop
chown -R hadoop:hadoop /application/hadoop
iv. 将下载的hadoop软件上传到hadoop账号的路径下，安装hadoop
cd /home/hadoop
cp hadoop-2.6.0-64.tar.gz /application/hadoop/
cd /application/hadoop
tar -zxvf hadoop-2.6.0-64.tar.gz
ln -s hadoop-2.6.0 hadoop
v. 配置环境变量
vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/application/hadoop/hadoop
export HADOOP_PREFIX=/application/hadoop/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
立即生效：
source /etc/profile
打印看看：
echo $JAVA_HOME
vi. 这一步使用hadoop账号登录进行设置，配置ssh无密码登录。
$ cd /home/hadoop
$ mkdir .ssh
$ chmod 755 .ssh
$ cd .ssh
$ ssh-keygen -t rsa -P ''
//询问保存路径时直接[按回车]采用默认路径
$ cat id_rsa.pub >> authorized_keys
$ chmod 600 authorized_keys
7. 修改hadoop的安装目录中/application/hadoop/Hadoop/etc/配置文件
i. 参考自网上的修改配置文件的方式，一共需要改7个配置文件，hadoop-env.sh中只需要修改JAVA_HOME的值，也就是jdk的安装路径。
ii. 配置slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xm文件，这些文件，参考自/detail/2631449062.html博客中的配置。
7.1 配置 hadoop-env.sh文件-->修改JAVA_HOME
# The java implementation to use.
export JAVA_HOME=/usr/local/jdk
7.2 配置 yarn-env.sh 文件-->>修改JAVA_HOME
# some Java parameters
export JAVA_HOME=/usr/local/jdk
7.3 配置slaves文件-->>增加slave节点 （可能有一个默认值localhost，将其改为主机master）
master
slave01
slave02
7.4 配置 core-site.xml文件-->>增加hadoop核心配置（hdfs文件端口是9000、file:/data/hadoop/hdfs/tmp）

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/hadoop/hdfs/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.spark.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.spark.groups</name>
<value>*</value>
</property>
</configuration>

7.5 配置hdfs-site.xml 文件-->>增加hdfs配置信息（namenode、datanode端口和目录位置）

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoop/hdfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadoop/hdfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

</configuration>

7.6 配置 mapred-site.xml 文件-->>增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址）

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

7.7 配置yarn-site.xml文件-->>增加yarn功能

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

iii. 配置完之后先不用格式化。待复制完另两台服务器之后再一起分别格式化。
8. 完全复制已配置好的master服务器为slave01、slave02
复制完slave01和slave02之后，分别启动这两台服务器，并参考前文所说方式进行以下操作：
i. 修改主机名（步骤2）
ii. 修改ip（步骤3）
iii. 重启reboot
9. 分别在master、slave01、slave02上对hadoop的配置文件使用以下命令进行格式化。
hadoop namenode -format
10. 自此，hadoop集群搭建完毕。
11. 启动hadoop集群：
/application/hadoop/hadoop/sbin/start-dfs.sh
/application/hadoop/hadoop/sbin/start-yarn.sh
之后再命令行输入jps，显示如下：



在浏览器中输入网址：
http://192.168.10.1:50070
显示如下：





输入网址：192.168.10.1:8088

显示如下



四、运行实例
在集群使用该软件自带的实例进行测试。
vi words

java
c++
hello
hello
python
java
java
java
c
c

$ hadoop fs -mkdir /data

$ hadoop fs -put words /data

$ hadoop jar /application/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /data /output

$ hadoop fs -cat /output/part-r-00000

结果如下：





五、总结：
在hadoop集群的安装中，出现了各种各样的问题。各种的细节如果不仔细就会漏了去操作，比如hosts文件，以及ip的配置文件、环境变量的配置等，都很容易漏掉去配置或者配置出错。还有一个就是，在搭建hadoop的时候要将防火墙永久的关闭，如果只是在本次开机使用中关闭，很有可能在下次开机的时候防火墙又会开启了。
Hadoop安装路径下的/etc下的配置文件，要很仔细的配置，按照网上的教程，看懂是做什么的时候再弄，不要一味的跟着照搬，否则很容易出错。