在Docker中运行Hadoop+Spark集群
2016-11-13 14:44
330 查看
在Docker中运行Hadoop+Spark集群
本镜像基于kiwenlau/hadoop:1.0构建,hadoop配置请参考https://github.com/kiwenlau/hadoop-cluster-docker3节点集群
1、拉取Docker镜像docker pull miaolegemitong/spark:1.0
2、克隆git仓库
git clone git@github.com:miaolegemitong/spark-docker.git
3. 创建网络
sudo docker network create --driver=bridge hadoop
4. 启动容器
cd spark-docker sudo ./start-container.sh <your jars path>
output:
start master container... start slave1 container... start slave2 container... root@hadoop-master:~#
启动了1个master、2个slave的hadoop集群
启动了1个master、3个slave(master机器也作为slave使用)的Spark集群
之后进入hadoop-master容器的/root目录
5. 启动Hadoop
./start-hadoop.sh
6. 运行Hadoop word count
./run-wordcount.sh
output
input file1.txt: Hello Hadoop input file2.txt: Hello Docker wordcount output: Docker 1 Hadoop 1 Hello 2
7、启动Spark
./start-spark.sh
任意个数节点的集群
1. 拉取docker镜像,克隆git仓库重复3节点集群中的1-3步
2. 重新build docker镜像
./resize-cluster.sh 5
指定大于3的参数
脚本将重写不同的slaves文件
3. 启动容器
sudo ./start-container.sh <your jars path> 5
使用和第2步相同的参数
4. 启动Hadoop和Spark集群
和3节点中第5-7步一致
相关文章推荐
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop-伪分布模式并运行Wordcount(2)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 基于docker的spark-hadoop分布式集群之二: 环境测试
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- Docker下安装Hadoop和Spark集群
- 在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)
- 本地Spark程序提交到hadoop集群运行流程
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- docker for mac 安装spark 2.2.0 + hadoop 2.8.0 集群
- 联想ThinkPad S3-S440虚拟机安装,ubuntu安装,Hadoop(2.7.1)详解及WordCount运行,spark集群搭建
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- 基于docker的spark-hadoop分布式集群之一: 环境搭建
- Hadoop Job在集群上运行出现“Error initializing”错误
- Hadoop集群运行JNI程序
- 在hadoop集群上运行mapreduce程序时报错“org.apache.hadoop.util.Shell$ExitCodeException:***not found”