Spark笔记--使用Maven编译Spark源码(windows)
2016-05-03 20:44
507 查看
1. 官网下载源码 source code,地址: http://spark.apache.org/downloads.html
2. 使用maven编译:
注意在编译之前,需要设置java堆大小以及永久代大小,避免mvn出现内存溢出的情况。
windows下设置:%MAVEN_HOME%\bin\mvn.cmd,将其中的
这行注释下方加一行
之后进行编译
编译完成后,将项目导入intellij
File->import setting->打开源码文件下的pom.xml等待完成即可
生成可运行的distribution
参考资料:
Apache Spark源码走读之9 -- Spark源码编译: http://www.cnblogs.com/hseagle/p/3732492.html
Spark大师之路:使用maven编译Spark:http://blog.csdn.net/asongoficeandfire/article/details/23223561
Spark 1.3.0源码编译及部署:http://www.68idc.cn/help/buildlang/ask/20150330305409.html
Spark源码包的编译:http://www.linuxidc.com/Linux/2015-01/111183.htm
2. 使用maven编译:
注意在编译之前,需要设置java堆大小以及永久代大小,避免mvn出现内存溢出的情况。
windows下设置:%MAVEN_HOME%\bin\mvn.cmd,将其中的
@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000
这行注释下方加一行
set MAVEN_OPTS= -Xmx2048m -XX:PermSize=512m -XX:MaxPermSize=1024m
之后进行编译
mvn -Pyarn -Phadoop-2.4.1 -Dhadoop.version=2.4.1 -Phive -DskipTests clean package
编译完成后,将项目导入intellij
File->import setting->打开源码文件下的pom.xml等待完成即可
生成可运行的distribution
make-distribution.sh --name custom-spark --tgz -Phadoop-2.4.1 -Phive -Phive-thriftserver -Pyarn
参考资料:
Apache Spark源码走读之9 -- Spark源码编译: http://www.cnblogs.com/hseagle/p/3732492.html
Spark大师之路:使用maven编译Spark:http://blog.csdn.net/asongoficeandfire/article/details/23223561
Spark 1.3.0源码编译及部署:http://www.68idc.cn/help/buildlang/ask/20150330305409.html
Spark源码包的编译:http://www.linuxidc.com/Linux/2015-01/111183.htm
相关文章推荐
- O
- android 上下滑动重影
- 点击删除弹出确认框,’是‘异步提交,‘否’不删除,并弹出不提交原因
- HDU5120 (容斥原理)
- 手柄连接断开时, 后台运行的activity被重新加载
- BZOJ 1025 游戏【置换群】
- 自定义topbar
- 【Git+Source Tree使用教程之二】Branching & Merging
- 设计模式之装饰者模式
- MVC架构学习之Smarty学习——病来而蔫
- 山东省第二届ACM大学生程序设计竞赛 Crack Mathmen 打表 模拟
- URAL 1091 Tmutarakan Exams (DP或容斥)
- N
- Linear regression and Normal Equations algorithm
- 共同学习Java源代码--常用工具类--StringBuffer(一)
- Lucene 搜索功能
- JAVA中引用本身占用内存空间的问题
- Java连接mysql中遇到的一些问题及解决方法
- 【连载】关系型数据库是如何工作的?(1) - 前言
- Android学习记录(十) 弹框阻塞处理