Spark的运行模式(1)--Local和Standalone
2017-05-15 15:25
211 查看
Spark一共有5种运行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。
Standalone模式的部署比较繁琐,需要把Spark的部署包安装到每一台节点机器上,并且部署的目录也必须相同,而且需要Master节点和其他节点实现SSH无密码登录。启动时,需要先启动Spark的Master和Slave节点。
其中master:7077是Spark的Master节点的主机名和端口号。
1. Local
Local模式即单机模式,如果在命令语句中不加任何配置,则默认是Local模式,在本地运行。这也是部署、设置最简单的一种模式2. Standalone
Standalone是Spark自身实现的资源调度框架。如果我们只使用Spark进行大数据计算,不使用其他的计算框架(如MapReduce或者Storm)时,就采用Standalone模式。Standalone模式的部署比较繁琐,需要把Spark的部署包安装到每一台节点机器上,并且部署的目录也必须相同,而且需要Master节点和其他节点实现SSH无密码登录。启动时,需要先启动Spark的Master和Slave节点。
其中master:7077是Spark的Master节点的主机名和端口号。
相关文章推荐
- Spark在IDEA中打jar包,并在集群上运行(包括local模式,standalone模式的集群运行)
- Local模式下开发第一个Spark程序并运行于集群环境
- 安装Spark Standalone模式/Hadoop yarn模式并运行Wordcount
- 小问题可能存在大问题,希望大神帮忙解答。Spark本地运行模式中单线程与多线程问题之setMaster("local")可以运行,但是设置成setMaster("local[3]")或setMaste
- Spark的StandAlone运行模式环境搭建
- Local模式运行Spark
- 深入理解Spark 2.1 Core (五):Standalone模式运行的原理与源码分析
- spark学习14(spark local模式运行spark程序的报错)
- Spark运行模式与Standalone模式部署
- 深入理解Spark 2.1 Core (五):Standalone模式运行的原理与源码分析
- Spark - IDEA 打包 Scala,Spark Local 模式运行
- Spark安装部署(local和standalone模式)
- 配置和启动Spark | local模式以及standalone模式
- 在spark开发环境中使用Standalone模式调试集群运行
- Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
- Intellij IDEA开发(local模式)提交运行Spark代码
- 在standalone-cluster模式上运行spark应用程序(用sbt打包)
- 深入理解Spark 2.1 Core (六):Standalone模式运行的原理与源码分析
- Spark修炼之道(高级篇)——Spark源码阅读:第十节 Standalone运行模式解析
- 【Nutch基础教程之七】Nutch的2种运行模式:local及deploy