Spark1.6.1集群环境搭建——Standalone模式HA

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。

192.168.200.11   hadoop11
192.168.200.12   hadoop12
192.168.200.13   hadoop13

安装scala

http://blog.csdn.net/silentwolfyh/article/details/51297083

在一台机器上解压、配置环境变量后，将文件夹和环境变量文件通过scp拷贝到另外两台即可。

scp -r /usr/app/scala-2.10.4 root@hadoop13:/usr/app/

下载spark

点击打开链接 http://spark.apache.org/downloads.html
解压文件 tar -xzvf spark-1.6.1-bin-hadoop2.6.tgz
备注：我选择的是基于hadoop2.6的spark1.6.1的编译版本

配置

1. 向环境变量添加spark home。

export SCALA_HOME=/usr/app/scala-2.10.4
export SPARK_HOME=/usr/app/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH: $SPARK_HOME/bin:$SCALA_HOME/bin

2. 配置./conf/slaves

首先将slaves.template拷贝一份

cp slaves.template slaves

修改slaves文件

hadoop11
hadoop12
hadoop13

3. 配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

export JAVA_HOME=/usr/app/jdk1.7

export SCALA_HOME= /usr/app/scala-2.10.4

export SPARK_MASTER_IP=hadoop11

export SPARK_WORKER_MEMORY=2g

export MASTER=spark://hadoop11:7077

最后将spark-1.6.1-bin-hadoop2.6文件夹拷贝到另外两个结点即可。

启动

[root@hadoop11 spark-1.6.1-bin-hadoop2.6]# ./sbin/start-all.sh
 

检查安装是否成功
访问web管理界面：http://hadoop11:8080



好了，配置结束，可以在我们的spark集群上运行任务了！

HA的配置

1. 配置./conf/spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop11:2181,hadoop12:2181,hadoop13:2181 -Dspark.deploy.zookeeper.dir=/spark"

最后将/conf/spark-env.sh文件夹拷贝到另外两个结点即可。