spark安装和集群单机模式
2016-10-20 16:54
169 查看
我安装吃了很大的亏,首先应该先去看人家官方介绍,就算看不太懂,也可以慢慢看
1、单机安装 只需要 JDK
然后去官网下载压缩包,不区分window和linux。解压后就安装完成了(可以了,然后配置下环境变量。验证可以执行%SPARK_HOME%/bin下面的spark-shell脚本,会出现scala的命令行,表明安装成功。
如果需要配合python,则需要安装python,配合R使用,需先安装R语言环境,配合scala需要安装scala的环境。都不是必须的,除了jdk,应为他编译需要在jvm中。
2、它的集群方式大致两种,1是搭建在别的集群上的,例如hadoop,mesos,yarn上,2是单机集群(这里只说最简单的单机集群)其实spark不需要安装的,就是一个文件,想在多台电脑运行,复制过去就行,集群的话,需要改变spark安装目录下面conf文件夹下的配置文件。
1,需要改变的文件,spark-env.sh文件 加入export SPARK_MASTER_HOST=你的master的地址(不推荐127.0.0.1写法)
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=300m
这几行
2,修改slave文件里面加入你需要的从的地址(主机名或ip)
3,将改完以后的spark文件复制到你第二步骤的那几个电脑上。
4,然后启动sbin/start-all.sh就可以启动所有集群中的spark服务了(使用stop-all.sh停止)
我写的没有那么华丽,但是是自己总结出来最简单的配置方式。
1、单机安装 只需要 JDK
然后去官网下载压缩包,不区分window和linux。解压后就安装完成了(可以了,然后配置下环境变量。验证可以执行%SPARK_HOME%/bin下面的spark-shell脚本,会出现scala的命令行,表明安装成功。
如果需要配合python,则需要安装python,配合R使用,需先安装R语言环境,配合scala需要安装scala的环境。都不是必须的,除了jdk,应为他编译需要在jvm中。
2、它的集群方式大致两种,1是搭建在别的集群上的,例如hadoop,mesos,yarn上,2是单机集群(这里只说最简单的单机集群)其实spark不需要安装的,就是一个文件,想在多台电脑运行,复制过去就行,集群的话,需要改变spark安装目录下面conf文件夹下的配置文件。
1,需要改变的文件,spark-env.sh文件 加入export SPARK_MASTER_HOST=你的master的地址(不推荐127.0.0.1写法)
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=300m
这几行
2,修改slave文件里面加入你需要的从的地址(主机名或ip)
3,将改完以后的spark文件复制到你第二步骤的那几个电脑上。
4,然后启动sbin/start-all.sh就可以启动所有集群中的spark服务了(使用stop-all.sh停止)
我写的没有那么华丽,但是是自己总结出来最简单的配置方式。
相关文章推荐
- Spark Tachyon编译部署(含单机和集群模式安装)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- Kafka单机、集群模式安装详解(二)
- 安装部署Spark 1.x Standalone模式集群
- Spark新手入门——3.Spark集群(standalone模式)安装
- zookeeper单机模式,伪分布式,集群模式安装教程(按照步骤来,100%能成功)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- Kafka单机、集群模式安装详解(一)
- zk 安装多种模式(单机, 伪集群,集群) 之一
- Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置
- Spark新手入门——2.Hadoop集群(伪分布模式)安装
- CentOS下ZooKeeper单机模式、集群模式安装
- Spark2.2.0分布式集群安装(StandAlone模式)
- Windows 单机模式 Spark 安装和 配置
- zk 安装多种模式(单机, 伪集群,集群) 之二
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Kafka单机、集群模式安装详解(一)
- Spark2.1集群安装(standalone模式)
- Maven安装编译Spark,搭建Spark独立集群模式(Hadoop架构之上)
- Spark2.2.1 on yarn 模式集群安装