spark standalone集群模式搭建
2017-08-23 19:58
549 查看
搭建前,必须准备好hadoop
#scala environment
export SCALA_HOME=/opt/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin
centos-master
centos-slave1
centos-slave2
#spark config
SPARK_HOME=/opt/spark-1.6.0
PATH=PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
配置conf/spark-env.sh
export JAVA_HOME=/usr/java/latest
export SPARK_MASTER_IP=192.168.130.140
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
分发到各个节点
scp -r /opt/spark-1.6.0 centos-slave1:/opt
scp -r /opt/spark-1.6.0 centos-slave2:/opt
spark standalone启动:
/opt/spark-1.6.0/sbin/start-all.sh
#scala environment
export SCALA_HOME=/opt/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin
centos-master
centos-slave1
centos-slave2
#spark config
SPARK_HOME=/opt/spark-1.6.0
PATH=PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
配置conf/spark-env.sh
export JAVA_HOME=/usr/java/latest
export SPARK_MASTER_IP=192.168.130.140
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
分发到各个节点
scp -r /opt/spark-1.6.0 centos-slave1:/opt
scp -r /opt/spark-1.6.0 centos-slave2:/opt
spark standalone启动:
/opt/spark-1.6.0/sbin/start-all.sh
相关文章推荐
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点
- spark standalone模式 环境搭建
- Spark Standalone模式集群 对TIDB/Mysql支持
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark官方文档——独立集群模式(Standalone Mode)
- spark standalone 集群环境搭建
- Spark Standalone模式HA环境搭建
- Spark Standalone模式伪分布式环境搭建
- Spark standalone模式结合虚拟机遇到的问题
- Spark1.0.0 on Standalone 模式部署
- 配置Spark standalone集群启动
- 搭建Spark集群(独立模式)
- SequoiaDB分布式数据库集群模式搭建Spark
- spark环境搭建(独立集群模式)
- Spark Streaming On Yarn/ On StandAlone模式下的checkpointing容错
- Apache Spark源码走读之19 -- standalone cluster模式下资源的申请与释放
- Spark1.6.1集群环境搭建——Standalone模式HA
- Spark Standalone模式