spark 集群搭建*(3节点)
2017-09-15 13:48
183 查看
spark环境安装
Standalone模式的spark集群虽然不依赖于yarn,但是数据文件存在hdfs,所以需要hdfs集群启动成功
这里下载包也要根据hadoop集群版本启动
比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz
下载解压进入解压缩目录
配置slaves,里面配置从节点的主机名或者ip,例如
vim slaves
node1
node2
node3
配置spark-env.sh,和JAVA_HOME
export JAVA_HOME=/opt/soft/jdk1.7.0_79
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=512m
注意:如果想要跑spark on yarn则需要配置HADOOP_CONF_DIR
在spark-env.sh或者/etc/profile下面配置都可以
执行命令./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
1. standalone client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
2. standalone cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
3. on yarn client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
4. on yarn cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
一. 下载安装
下载地址:http://spark.apache.org/downloads.htmlStandalone模式的spark集群虽然不依赖于yarn,但是数据文件存在hdfs,所以需要hdfs集群启动成功
这里下载包也要根据hadoop集群版本启动
比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz
下载解压进入解压缩目录
二.配置启动
进入conf目录发现只有slaves.template和spark-env.sh.template,这里可以拷贝一份把template的后缀去掉配置slaves,里面配置从节点的主机名或者ip,例如
vim slaves
node1
node2
node3
配置spark-env.sh,和JAVA_HOME
export JAVA_HOME=/opt/soft/jdk1.7.0_79
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=512m
注意:如果想要跑spark on yarn则需要配置HADOOP_CONF_DIR
在spark-env.sh或者/etc/profile下面配置都可以
二. 测试
访问192.168.57.4:8080能看到web界面执行命令./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
附录:
不同运行模式的命令不同1. standalone client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
2. standalone cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
3. on yarn client模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
4. on yarn cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100
相关文章推荐
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点
- 在CentOS下,搭建单节点以及集群spark
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- 千台Spark集群对千亿量级节点的相似度计算
- [置顶] 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- spark 入门及集群环境搭建
- 5节点Hadoop分布式集群搭建-超详细文档
- 基于Docker快速搭建多节点Hadoop集群
- 第6课:精通Spark集群搭建与测试
- Spark集群基于Zookeeper的HA搭建部署笔记
- Spark集群环境搭建
- Spark集群搭建(HA)
- 基于docker搭建跨主机的spark集群并配置notebook(二)
- spark集群的搭建
- hadoop2.6.2集群环境搭建在经过几天的环境搭建,终于搭建成功,其中对于hadoop的具体设置倒是没有碰到很多问题,反而在hadoop各节点之间的通信遇到了问题,而且还反复了很多遍,光虚拟机就重
- 搭建基于mesos的spark集群
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--2
- Spark1.3.1 On Yarn的集群搭建