基于Docker搭建Hadoop集群(ubuntu操作系统)

1.      项目说明
关于Docker方面的内容，我们这里就不做介绍了，大家可以访问Docker官方网站（https://www.docker.com）获取详细的信息，包括Docker安装部署，基本操作命令等等。
 
我这个项目的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群，即通过一台Ubuntu节点运行Hadoop集群环境。
 
针对项目的环境信息如下：
Hadoop安装包：hadoop-2.7.3.tar.gz
JDK安装包：jdk-7u80-linux-x64.tar.gz
Linux操作系统(64位)以及内核版本：ubuntu-16.04/4.4.0-36-generic
Docker版本：1.12.1
 
过多的理论知识，我就不做讲解了，有问题的朋友可以咨询我。
 
2.      搭建3个节点的Hadoop集群
2.1   下载Hadoop的Docker镜像
docker pull jiangshouzhuang/hadoop2.7.3-cluster-on-docker:1.0
 
下载完成后，进行验证：
docker images
 
输出结果为：
REPOSITORY                                                              TAG   IMAGE ID          CREATED                SIZE
jiangshouzhuang/hadoop2.7.3-cluster-on-docker 1.0  03b627a5544b  About an hour ago  859.2 MB
 
2.2   下载Github仓库中所需要的配置文件
git clone https://github.com/jiangshouzhuang/hadoop-cluster-on-docker  
2.3   创建Hadoop集群所需的网络
docker network create --driver=bridge hadoop
 
2.4   运行Docker容器
cd hadoop-cluster-on-docker
chmod +x *
./start-container.sh
 
输出结果为：
output:
start master container...
start slave1 container...
start slave2 container...
root@master:/#
这里我们启动了3个容器，包括一个Master节点，2个Slave节点。
下面步骤的执行都是在master的容器中（root@master:/#）操作的。
 
2.5   启动Hadoop，包括HDFS和YARN
root@master:/# start-hadoop.sh
 
或者你也可以单独启动HDFS和Yarn，如下：
root@master:/# start-dfs.sh
root@master:/# start-yarn.sh
 
2.6   运行WordCount程序验证Hadoop集群环境
root@master:/# run-wordcount.sh
 
如果运行成功的话，结果为：
input file1.txt:
Hello Hadoop
 
input file2.txt:
Hello Docker
 
wordcount output:
Docker        1
Hadoop      1
Hello  2
 
Hadoop相关管理页面如下：
NameNode: http://192.168.1.104:50070/ ResourceManager: http://192.168.1.104:8088/ 192.168.1.104为Docker宿主的IP地址。
 
 
2.7   查看正在运行的容器
我们可以通过docker ps查看正在运行的容器，如下：

我们可以看到master容器将NameNode和ResourceManager的管理页面的端口号映射到宿主机上了，如图为0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp。
 
3.      定制需要的N个Hadoop集群
3.1   参考上面的3个Hadoop集群的2.1~2.3步骤
3.2   重新构建Docker镜像
其实这一步主要是修改Hadoop的Slave配置文件slaves。
首先请确保将JDK和Hadoop的安装包放到hadoop-cluster-on-docker目录中。
chmod +x *
./resize-cluster.sh 5
参数的大小根据实际情况指定。
 
3.3   启动Docker
./start-container.sh 5
参数的大小保持和上面一致。
 
3.4   运行Hadoop集群并测试
参考2.5~2.7步骤。
 
4.      最后的几点说明
4.1   目前的项目无法做到在已有的Hadoop集群中增加新节点
4.2   对于HBase，Hive等，可以在此镜像基础上进行构建新的镜像
4.3   如果想保存容器中的HDFS数据，那么可以使用docker volume解决
4.4   对于使用其他版本的JDK和Hadoop，需要修改Dockerfile等文件