编译spark源码使sparksql支持hive（cdh的）
2016-08-31 14:37
671 查看
一：首先设置maven的内存
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"二：在spark的目录下执行该命令（cd spark-1.3.0）
mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver -DskipTests clean package
三：编译完成之后，执行以下命令生成bin包
./make-distribution.sh --name custom-spark --skip-java-test --tgz -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver
备注：
要注意相应的版本，Scala的版本，Hadoop hive cdh版本对应等。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 重新编译spark源码，使CDH支持spark sql
- 重新编译spark 增加spark-sql适配CDH
- 搭建Hive On Spark 编译Hive源码错误解决方法（spark2.1.0，hadoop2.7.2）
- 实现CDH支持Spark SQL功能
- Spark SQL 支持的Hive内置函数
- 从源码编译Cloudera CDH 5.7.1的Spark2.1.1
- CDH5.1.0编译spark-assembly包来支持hive
- 如何源码编译对应CDH版本的Spark2.X
- Spark 2.2源码编译 & 支持hadoop-2.6.0-cdh5.7.0
- 基于hive0.13.1的spark1.6.0源码编译说明
- cdh版本hive源码编译打包
- 实现CDH支持Spark SQL功能
- CDH5.5自行编译支持sparkSQL，sparkR
- 编译支持hive的spark assembly
- hadoop-hbase-hive-zookeeper的cdh4.6.0和spark-0.9.0-incubating-bin-cdh4集群
- Spark1.1.0 源码编译和部署包生成
- Win7编译HIVE trunk 源码
- Hive SQL 编译过程详解(hive sql 如何转换成MP程序)
- Apache Spark源码走读之9 -- Spark源码编译
- hadoop-2.0.0-cdh4.2.1源码编译总结