spark1.0属性配置以及spark-submit简单使用
2014-06-24 10:42
295 查看
在spark1.0中属性支持三种配置方式:
[b]1、代码[/b]
在代码中构造SparkConf时指定master、appname或者key-value等
[b]2、命令行[/b]
在使用spark-submit或者spark-shell提交应用程序时,用命令行参数提交;
具体参数通过查看spark-submit --help 或者spark-shell --help得知;
spark-submit使用参见官方文档:http://spark.apache.org/docs/latest/submitting-applications.html
注意:
1)此处虽然设置了name,但是如果在代码层面已经设置了setAppName("xxx"),那么此处的name是不生效的,因为代码层面设置参数的优先级大于命令行层面;
2)[b]executor-memory是每个worker占用的,而executor-cores是所有worker一共占用;[/b]
[b]3、配置文件[/b]
在spark1.0中使用conf/spark-defaults.conf配置文件设定,形如:
默认情况下spark-submit是会读取该配置文件,也可以通过参数设置读取其他配置文件,参见:spark-submit --properties-file
参数配置参见:http://spark.apache.org/docs/latest/configuration.html
注意三种属性设置的优先级:代码>命令行>配置文件
[b]1、代码[/b]
在代码中构造SparkConf时指定master、appname或者key-value等
val conf = new SparkConf(); conf.setAppName("WordCount").setMaster(" spark://hadoop000:7077") val sc = new SparkContext(conf)
val conf = new SparkConf(); conf.set("spark.executor.memory", "1g") val sc = new SparkContext(conf)
[b]2、命令行[/b]
在使用spark-submit或者spark-shell提交应用程序时,用命令行参数提交;
具体参数通过查看spark-submit --help 或者spark-shell --help得知;
spark-submit使用参见官方文档:http://spark.apache.org/docs/latest/submitting-applications.html
spark-submit \ --name SparkSubmit_Demo \ --class com.luogankun.spark.WordCount \ --master spark://hadoop000:7077 \ --executor-memory 1G \ --total-executor-cores 1 \ /home/spark/data/spark.jar \ hdfs://hadoop000:8020/hello.txt
注意:
1)此处虽然设置了name,但是如果在代码层面已经设置了setAppName("xxx"),那么此处的name是不生效的,因为代码层面设置参数的优先级大于命令行层面;
2)[b]executor-memory是每个worker占用的,而executor-cores是所有worker一共占用;[/b]
[b]3、配置文件[/b]
在spark1.0中使用conf/spark-defaults.conf配置文件设定,形如:
spark.master spark://hadoop000:7077 spark.local.dir /home/spark/spark_shuffle/ #配置spark shuffle数据存放路径 spark.executor.memory 1g
默认情况下spark-submit是会读取该配置文件,也可以通过参数设置读取其他配置文件,参见:spark-submit --properties-file
参数配置参见:http://spark.apache.org/docs/latest/configuration.html
注意三种属性设置的优先级:代码>命令行>配置文件
相关文章推荐
- Linux的档案属性和目录配置的简单使用说明
- Android Studio 的简单配置使用以及各文件用途(一)
- putty窗口标题修改、字体颜色修改等简单配置以及putty多开工具mtputty的使用
- 简单两步快速实现shiro的配置和使用,包含登录验证、角色验证、权限验证以及shiro登录注销流程
- Linux上go的安装配置以及简单使用
- Spring AMQP实例 以及Spring 配置文件动态注入属性使用实战
- Linux环境下ffmpeg的配置步骤以及简单的使用命令
- Spring笔记(一)---myeclipse2014配置spring以及简单使用
- Spring Boot 属性配置和使用 以及相关优先级顺序
- iOS开发:给项目工程里面添加Podfile配置文件,以及CocoaPods的简单使用
- android 自定义圆角头像以及使用declare-styleable进行配置属性解析
- Spring在mac下的配置以及简单使用
- Intent的属性以及intent的配置使用
- spring ioc容器注入的集中方式,以及属性注入的集中依赖,继承,使用SPEL表达式,ioc容器的生命周期,bean的几种工厂方法配置方式,bean的自动装配
- Linux环境下ffmpeg的配置步骤以及简单的使用命令
- UIScrollView的简单使用 以及一些常用属性
- iOS边练边学--UIScrollView的属性简单使用,代理的简单介绍以及内容缩放
- zookeeper笔记--配置以及和spark hbase结合使用
- spring quartz定时器的简单配置使用以及常见问题解答
- redis的配置以及简单使用