sbt自定义spark参数
2016-02-22 16:46
253 查看
开发spark程序时，需要依赖于spark的jar包，因此需要将spark的jar包的作用域（scope）设置成compile，如果设置成provided的话，会提示找不到ClassNotFoundException的错误。
但在线上服务构建时，又需要将作用域改成provided。那么build.sbt怎么写才可以呢？这里提供一个方法，可以用以下方法：
正常开发过程中，不需要设置 spark.scope ，那么默认采用compile
正式发布时，只需要用以下命令进行构建。
但在线上服务构建时，又需要将作用域改成provided。那么build.sbt怎么写才可以呢？这里提供一个方法，可以用以下方法：
val spark_scope = System.getProperty("spark.scope", "compile")
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % spark_scope正常开发过程中，不需要设置 spark.scope ，那么默认采用compile
正式发布时，只需要用以下命令进行构建。
sbt -Dspark.scope=provided clean assembly
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- js去除重复项
- init/initWithFrame/自定义init方法执行顺序
- 样式修改时的一般修改与影响修改
- windows下php redis扩展安装
- Java利用Zxing生成二维码
- JSTL标签
- setOnLongClickListener中return值
- 使用qt写的简单的图片浏览器
- 编辑部直接征稿，此内容长期有效，请放心投稿
- [IOS 开发] 常用第三方框架和小工具
- 是谁制造了混乱
- Think in Java反刍笔记(2)---对象是什么(2)
- Factorial Trailing Zeroes
- JavaScript 中 Property 和 Attribute 的区别详解
- Django~Views
- ReadString和WriteString
- 新的人生方向
- linux根分区满了怎么办?
- Git SSH Key 生成步骤
- easyui datagrid 扩展