Spark2.2.1 on yarn 模式集群安装

假设集群有4台机器，主机名分别为：spark1、spark2、spark3、spark4。一、前提条件1、确保集群中已经安装好了hadoop-2.7
hadoop集群安装参考：http://blog.csdn.net/u011563666/article/details/50170465
2、确保集群中每台机器上已经安装好了scala-2.11

二、安装scala(若已经安装好了scala，请跳过该步骤)我这里下载的是scala版本是scala-2.11.12
1、下载scala
wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
2、解压
将scala安装在/opt目录下
tar -zxvf scala-2.11.12.tgz -C /opt/
3、配置scala环境变量
使用root用户配置
vim /etc/profile 在其中添加如下内容
export SCALA_HOME=/opt/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH
4、使配置生效
source /etc/profile

三、安装spark-2.2.11、下载spark
wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz
2、解压安装包
将spark安装在/opt目录下
tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /opt
mv spark-2.2.1-bin-hadoop2.7 spark-2.2.1 (重命名)
3、配置spark
1）、配置spark运行环境
cp spark-env.sh.template spark-env.sh
vim spark-env.sh，在其中添加如下内容：

export SPARK_MASTER_IP=spark1	#设置spark1主机为master节点
export SCALA_HOME=/opt/scala-2.11.12
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/opt/jdk1.8.0_121
export HADOOP_HOME=/part1/hadoop-2.7
export HADOOP_CONF_DIR=/part1/hadoop-2.7/etc/hadoop

2）、配置spark从节点，修改slaves文件cp slaves.template.template slavesvim slaves，其内容如下：

spark2
spark3
spark4

4、配置spark环境变量
使用root用户配置
vim /etc/profile 在其中添加如下内容
export SPARK_HOME=/opt/spark-2.2.1
export PATH=$SPARK_HOMEE/bin:$PATH
5、使配置生效
source /etc/profile
6、启动spark集群
在spark1主机上执行命令：start-all.sh
7、登录WebUI查看spark集群信息 http://spark1:8080/