Spark on yarn安装部署

〇、说明
1.Spark的部署模式主要有：
Local模式；
Standalone模式；
Yarn模式：yarn—client，yarn_master；
Mesos模式：Coarse-grained Mode，Fine-grained Mode。

整理了几篇说明性BLOG：
Spark集群三种部署模式的区别
Spark常用三种运行模式
spark的三种模式的详细运行过程
Spark Standalone架构设计要点分析

2.master与slave
spark on yarn 中没有master和slave，凡是涉及到两个角色的安装基本都是standalone模式。spark on yarn 仅仅需要按照以下步骤安装启动即可。分为spark on yarn-cluster和spark on yarn-client（区别自行百度，网上很多。）

一、准备
1.HDFS
2.YARN
3.JDK8

二、安装Scala
1.下载
官网下载（自己选择合适版本）：https://www.scala-lang.org/download/2.11.8.html
2.解压

tar -zxvf scala-2.11.8.tgz -C ../local/

3.修改环境变量

sudo vi /etc/profile
#在文件最后加入以下两行（根据自己安装目录）
export SCALA_HOME=/home/hadoop/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

4.验证

scala -verison

三、安装Spark
1.下载
可以官网下载，也可以清华源（或者其他源），目测清华最快

wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

2.解压重命名

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C ../local
mv spark-2.4.0-bin-hadoop2.7/ spark-2.4.0/

3.环境变量

sudo vi /etc/profile.d/custom.sh
#spark path,添加到文件最后两行
export SPARK_HOME=~/local/spark-2.4.0
export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH
#生效
source /etc/profile.d/custom.sh

复制一份Spark的spark-env.sh模版，然后添加HADOOP_CONF_DIR一项。

cp conf/spark-env.sh.template conf/spark-env.sh
echo "export HADOOP_CONF_DIR=~/local/hadoop-3.2.0/etc/hadoop" >> conf/spark-env.sh

四、验证
1.spark on yarn-client

spark-shell --master yarn-client #旧版本，被下条命令替代
spark-shell --master yarn --deploy-mode client #spark2.0以后

2.spark on yarn-cluster

#这个命令会报错： Cluster deploy mode is not applicable to Spark shells.原因在于spark-shell只能以client模式启动。
spark-shell --master yarn --deploy-mode cluster