Spark安装与配置

1. 解压压缩包
2. 配置conf/slaves文件,将worker进程的节点添加进去

cp slaves.template slaves
vim slaves

1. 配置spark-env.sh

cp spark-env.sh.template spark-env.sh
vim spark-env.sh

#设置master节点
export SPARK_MASTER_IP=master
#默认7077
export SPARK_MASTER_PORT=7077
#每台worker节点可以使用的核心数,可以理解为并行运行两个spark task
export SPARK_WORKER_CORES=2
#指定集群中每台worker节点可以使用的内存
export SPARK_WORKER_MEMORY=1g
#修改Spark webui端口号,默认8080
export SPARK_MASTER_WEBUI_PORT=8888

1. 启动
   ./sbin/start-all.sh
2. 停止
   ./sbin/stop-all.sh