Spark1.5 基于hadoop 2.5.0编译
2016-03-14 15:17
281 查看
安装jdk
安装scala
第一步. 修改 spark-1.5.0目录下的pom.xml文件,匹配自己的软件版本,我的修改如下:
vi pom.xml -- 修改如下相关软件的版本
<java.version>1.7</java.version>
<hadoop.version>2.5.0-cdh5.3.9</hadoop.version>
第二步. 尝试用maven编译Spark
build/mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0-cdh5.3.9 -Dyarn.version=2.5.0-cdh5.3.9 -DskipTests clean package
第三步:
./make-distribution.sh --name cdh5.3.9 --tgz -Pyarn -Dhadoop.version=2.5.0-cdh5.3.9 -Phive -Phive-thriftserver
安装scala
第一步. 修改 spark-1.5.0目录下的pom.xml文件,匹配自己的软件版本,我的修改如下:
vi pom.xml -- 修改如下相关软件的版本
<java.version>1.7</java.version>
<hadoop.version>2.5.0-cdh5.3.9</hadoop.version>
<maven.version>3.3.9<
/maven
.version>
<scala.version>2.10.4</scala.version> <scala.binary.version>2.10</scala.binary.version>
第二步. 尝试用maven编译Spark
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
build/mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0-cdh5.3.9 -Dyarn.version=2.5.0-cdh5.3.9 -DskipTests clean package
第三步:
./make-distribution.sh --name cdh5.3.9 --tgz -Pyarn -Dhadoop.version=2.5.0-cdh5.3.9 -Phive -Phive-thriftserver
相关文章推荐
- OpenCL™ 2.0 – Pipes
- CentOS 安装图形桌面教程
- 怎么测试Tomcat是否安装配置成功
- docker
- mac下opengl自学入门第一篇
- shell 脚本 检测文件夹
- linux下c/c++实例之七递归扫描目录下的文件
- setsockopt()函数功能介绍
- AOP 事务
- Linux基础回顾之基础命令四
- 大型网站架构之路
- NanoPC-T2 以太网分析(3)
- Linux笔记(34)——rpm包安装与管理
- 传输工具安装
- 自己定制Linux发行版(资料)
- strcop(),strcmp(),strcat(),strstr(),strchr()实现
- Eclispse Che(1):Centos7 安装che服务
- VS2013+OpenCV249+Windows10环境配置
- 持续交付的Mesos与Docker导入篇
- vs2013配置opencv2.4.9