Spark on Yarn伪分布式集群搭建（Hadoop集成spark）

spark下载

http://spark.apache.org/downloads.html

所需环境

jdk1.8 及其以上版本
hadoop_2.6_cdh.2.4.5
hadoop安装教程: https://blog.csdn.net/weixin_44393345/article/details/106332781

解压文件

tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz  -C ../servers/

进入conf目录修改配置文件

复制原文件，修改后缀名

cp spark-env.sh.template spark-env.sh

修改文件，添加配置数据

vim spark-env.sh

#Hadoop 配置文件地址，根据自己配置位置
export HADOOP_CONF_DIR=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
#主节点名称
export SPARK_MASTER_IP=node01
export JAVA_HOME=/export/servers/jdk1.8.0_141
export SCALA_HOME=/export/servers/scala-2.13.2

修改从节点

cp slaves.template slaves
vim slaves

修改环境变量

vim /etc/profile

export SPARK_HOME=/export/servers/spark-2.4.5-bin-hadoop2.6
export PATH=:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

刷新变量

source /etc/profile

节点文件下发
复制到从节点的当前路径下

scp -r /export/servers/spark-2.4.5-bin-hadoop2.6/  node02:$PWD
scp -r /export/servers/spark-2.4.5-bin-hadoop2.6/  node03:$PWD

配置一键启动脚本
spart_start.sh

#! /bin/bash

echo spark 集群正在启动

ssh node01 "/export/servers/spark-2.4.5-bin-hadoop2.6/sbin/start-all.sh start"

一键关闭
spart_stop.sh

#! /bin/bash

echo spark 集群正在启动

ssh node01 "/export/servers/spark-2.4.5-bin-hadoop2.6/sbin/stop-all.sh start"