spark 的standalone 模式部署
1.安装配置JDK
2.安装配置Spark,修改Spark配置文件(两个配置文件spark-env.sh和slaves)
vim spark-env.sh
#指定JAVA_HOME位置
export JAVA_HOME=/usr/java/jdk1.7.0_45
#指定spark老大Master的IP
export SPARK_MASTER_IP=spark1.itcast.cn
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
#指定可用的CPU内核数量(默认:所有可用)
export SPARK_WORKER_CORES=2
#作业可使用的内存容量,默认格式为1000m或者2g(默认:所有RAM去掉给操作系统用的1GB)
export SPARK_WORKER_MEMORY=2g
3.在slaves文件中加入所有Work的地址
node3
node4
node5
4.(可选)配置两个Spark Master实现高可靠(首先要配置zookeeper集群,在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS)
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.80.10:2181 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g
export JAVA_HOME=/usr/local/jdk1.7.0_45
export SPARK_MASTER_IP=node-1.itcast.cn
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=1g
- 【Spark】Spark的Standalone模式安装部署
- Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
- Spark的三种分布式部署模式:Standalone, Mesos,Yarn
- Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
- Spark2.1.0的Standalone模式部署
- Spark standalone 模式下的集群部署
- 【Spark】Spark的Standalone模式安装部署
- 源码-spark Standalone部署模式及其容错性分析
- Spark运行模式与Standalone模式部署
- Apache Spark技术实战之8:Standalone部署模式下的临时文件清理
- 01-spark的standalone模式部署(2017-06-19)
- Spark的Standalone模式部署
- Spark 1.4.1 Standalone 模式部署安装配置
- Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
- Spark Standalone模式部署
- Spark安装部署(local和standalone模式)
- Spark的Standalone模式安装部署
- spark之Standalone模式部署配置详解
- Spark1.0.2 Standalone 模式部署
- Spark的standalone模式部署