Spark standalone模式安装

Spark standalone模式安装
1、下载软件(http://www.apache.org/dyn/closer.lua/spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.4.tgz)

2、准备机器我这里5台机器

192.168.80.20(cloud1)

192.168.80.21(cloud2)

192.168.80.22(cloud3)

192.168.80.23(cloud4)

192.168.80.24(cloud5)

3、解压缩软件

tar -zxvf spark-1.4.1-bin-hadoop2.4.tgz

4、分别在每一台机器上面操作

cd ./spark-1.4.1-bin-hadoop2.4/conf

vim slaves

修改配置文件为:

cloud1
cloud2
cloud3
cloud4
cloud5

同时也修改

vim conf/spark-env.sh

内容为:

SPARK_MASTER_IP=192.168.80.20 #这里192.168.80.20为master节点
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1

export SCALA_HOME=/opt/scala #这里设置scala安装路径
export JAVA_HOME=/usr/java/jdk1.7.0_75 #这里设置Java_home安装路径
export HADOOP_HOME=/opt/hadoop/    #这里不用设置！！！！！！！！！！！！！！！！！！！！！！！！
export SPARK_LOCAL_DIR=/opt/spark-1.4.1-bin-hadoop2.4  #这里设置spark安装路径

5、修改环境变量

vim /etc/profile

export SCALA_HOME=/opt/scala   #这里设置scala环境变量
export PATH=$SCALA_HOME/bin:$PATH

export SPARK_HOME=/opt/spark-1.4.1-bin-hadoop2.4  #这里设置Java_home环境变量的
export PATH=$PATH:$SPARK_HOME/bin

6、分别在每一台机器执行环境变量生效

source /etc/profile

7、在cloud1启动

cd $SPARK_HOME/sbin

start-all.sh

8、分别在每一台机器执行命令

jps -m

可以看到进程

3980 Worker
3789 Master

9、cd $SPARK_HOME/bin执行命令

spark-shell

可以看到

Welcome to
____              __
/ __/__  ___ _____/ /__
_\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 1.4.1
/_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_75)
Type in expressions to have them evaluated.

10、搞定了 没什么难度！哈哈