Mac 系统基于jdk1.8编译hadoop2.7.4和hadoop2.8.1
2017-08-28 20:53
441 查看
一:准备工作
1:jdk1.8版本
2:maven3.5.0版本
3:hadoop2.7.4或者hadoop2.8.1
4:protobuf2.5.0
5:cmake
6:openssl 跟 snappy
二:搭建编译环境
1:Mac上安装jdk1.8(傻瓜式操作,不懂得可以百度)
2:配置java环境变量
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH
3:解压maven包
4:配置maven环境变量
export MAVEN_HOME=/Users/shihaolin/opt/sourcecode/apache-maven-3.5.0
export PATH=$MAVEN_HOME/bin:$PATH
5:安装protobuf2.5.0(建议百度或者谷歌查一下,安装完成后终端输入protoc --version
出现这个就安装成功了)
6:安装cmake
6.1:mac上可以采取brew install cmake的方式直接下载
6.2:如果新电脑没有brew这个命令就在终端输入:ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安装成功后可以执行brew install cmake 下载cmake(如果不会的可以百度hombrew安装)
7:安装openssl跟snappy
7.1:brew install
openssl 安装成功后再brew install snappy
8:终端找到hadoop家目录下面是我的例子
然后执行
mvn clean package -Pdist,native -DskipTests -Dtar
如果最后出现SUCCESS就表明成功。
三:编译错误解决
1:在安装cmake后编译出现下面错误
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="/Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/native" executable="cmake">... @ 5:140 in /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
这个错误我当时花费了很长时间才解决,下面是解决方式
1:终端执行
cmake /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64
执行成功后
2:打开配置Java环境变量的地方
3:添加下面两行(具体根据自己电脑上的openssl安装版本还有文件地址配置)
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2l
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2l/include
4:记住修改环境变量后一定要执行立即生效命令,然后再执行
cmake /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=6
这个如果执行成功后再执行
mvn clean package -Pdist,native -DskipTests -Dtar
5:坐等编译成功
6:以上是我在Mac系统上编译hadoop2.7.4的方法步骤以及错误解决,当然编译过程中还有一些其他的小问题我就不一一列举出来了,我举的例子是我觉得最坑的一个。
1:jdk1.8版本
2:maven3.5.0版本
3:hadoop2.7.4或者hadoop2.8.1
4:protobuf2.5.0
5:cmake
6:openssl 跟 snappy
二:搭建编译环境
1:Mac上安装jdk1.8(傻瓜式操作,不懂得可以百度)
2:配置java环境变量
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH
3:解压maven包
4:配置maven环境变量
export MAVEN_HOME=/Users/shihaolin/opt/sourcecode/apache-maven-3.5.0
export PATH=$MAVEN_HOME/bin:$PATH
5:安装protobuf2.5.0(建议百度或者谷歌查一下,安装完成后终端输入protoc --version
出现这个就安装成功了)
6:安装cmake
6.1:mac上可以采取brew install cmake的方式直接下载
6.2:如果新电脑没有brew这个命令就在终端输入:ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安装成功后可以执行brew install cmake 下载cmake(如果不会的可以百度hombrew安装)
7:安装openssl跟snappy
7.1:brew install
openssl 安装成功后再brew install snappy
8:终端找到hadoop家目录下面是我的例子
然后执行
mvn clean package -Pdist,native -DskipTests -Dtar
如果最后出现SUCCESS就表明成功。
三:编译错误解决
1:在安装cmake后编译出现下面错误
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="/Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/native" executable="cmake">... @ 5:140 in /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
这个错误我当时花费了很长时间才解决,下面是解决方式
1:终端执行
cmake /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64
执行成功后
2:打开配置Java环境变量的地方
3:添加下面两行(具体根据自己电脑上的openssl安装版本还有文件地址配置)
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2l
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2l/include
4:记住修改环境变量后一定要执行立即生效命令,然后再执行
cmake /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=6
这个如果执行成功后再执行
mvn clean package -Pdist,native -DskipTests -Dtar
5:坐等编译成功
6:以上是我在Mac系统上编译hadoop2.7.4的方法步骤以及错误解决,当然编译过程中还有一些其他的小问题我就不一一列举出来了,我举的例子是我觉得最坑的一个。
相关文章推荐
- Mac 系统中的java环境 JDK 1.8 的安装说明
- hadoop 2.2.0 在 windows 8.1 64bit、jdk1.8的编译问题
- MAC下安装hadoop2.8.1(免编译)
- 基于Mac版VmwareFusion中安装的多台Ubuntu16.04系统虚拟机,实现Hadoop框架的过程
- MAC系统安装JDK1.8及环境变量配置
- 在Mac OS X 64bit系统上编译hadoop 2.2源码
- CentOS7下用jdk1.8编译hadoop-2.7.1全过程详解
- Ubuntu14.04LTS编译JDK1.8
- hadoop 运行 datanode , mac 系统
- 基于JDK1.8的HashMap分析
- 安装单机Hadoop系统(完整版)——Mac
- Vector源码探讨(基于JDK1.8)
- 基于Linux系统调用使用php实现一个在线编译运行C语言程序的系统
- hadoop2.7.4源码编译/eclipse源码编译及踩坑记录
- 小朋友学Java(1):Mac系统安装JDK
- java读书笔记:ArrayList源码详解(基于jdk1.8)
- Hashtable源码探讨(基于JDK1.8)
- 自已动手编译Linux系统-基于ALFS的LFS8.0实践(六)
- MAC系统里JDK版本切换
- Stack类源代码分析(基于JDK1.8)