Linux Ubuntu server 15.04 amd-64编译Apache Hadoop 2.7.2源码
2017-02-20 11:51
603 查看
为解决Unable to load native-hadoop library for your platform 异常需要修改/etc/profile文件下的Hadoop配置:
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
注:主要问题是对应的lib下没有64位编译的包。
2.1下载Apache Hadoop源码
从hadoop官网下载,下载地址是:http://hadoop.apache.org/releases.html,下载hadoop-2.7.2-src.tar.gz ,放置于/usr/local/路径下。
tar -zxvf hadoop-2.7.2-src.tar.gz
解压后的全路径是:/usr/local/hadoop-2.7.2-src。
mvn package -DskipTests-Pdist,native,docs
注:如果没有安装findbugs,把上面命令中的docs去掉即可,就不必生成文档了。
该命令会从外网下载依赖的jar,编译hadoop源码,需要花费很长时间。
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
注:主要问题是对应的lib下没有64位编译的包。
1.环境准备
请参考:Linux Ubuntu server 15.04 安装JDK、Maven、findbugs、protobuf2.编译Apache Hadoop 2.7.2源码
2.1下载Apache Hadoop源码
从hadoop官网下载,下载地址是:http://hadoop.apache.org/releases.html,下载hadoop-2.7.2-src.tar.gz ,放置于/usr/local/路径下。2.2解压源码
在/usr/local/下加压,命令如下:tar -zxvf hadoop-2.7.2-src.tar.gz
解压后的全路径是:/usr/local/hadoop-2.7.2-src。
2.3编译源码
进入/usr/local/hadoop-2.7.2-src目录,输入如下命令:mvn package -DskipTests-Pdist,native,docs
注:如果没有安装findbugs,把上面命令中的docs去掉即可,就不必生成文档了。
该命令会从外网下载依赖的jar,编译hadoop源码,需要花费很长时间。
2.4编译完成后查看
编译后的代码和jar包在/usr/local/hadoop-2.7.2-src/hadoop-dist/target下面。相关文章推荐
- Hadoop2.7.2源码在64位Centos Linux下编译
- ubuntu-14.04.3-server-amd64下源码安装mysql-5.6.27-linux-glibc2.5-x86_64
- 在Ubuntu中使用源码编译安装Apache+MySQL+PHP+phpMyAdmin
- linux下编译安装Apache HTTP Server
- AMD x2 ubuntu12.04 64bit平台 adt-bundle-linux-x86_64-20131030的Android源码工程调试
- hadoop2.2.0源码编译(ubuntu下)
- Apache编译参数详解(linux下手工通过源码编译apache)
- Hadoop源码编译-hadoop-2.0.3-alpha-Linux-CentOS
- linux下hadoop-1.0.4源码部署及编译
- ubuntu 为Apache Hadoop源码建立Eclipse项目
- Linux入门之源码编译安装配置apache---“风一样的软件安装“
- Ubuntu下arm-linux-gdb+gdbserver的编译及安装
- wdOS系统下源码编译安装LAMP环境(linux+apache+php+mysql)
- Ubuntu 13.10 x86_64 Linux 3.12编译安装NVIDIA 331.17(附打官方补丁)
- Red Hat Linux 9下的Mysql5.0.19+Apache 2.2.0 + PHP 5.1.2+GD库源码编译安装过程
- wdOS系统下源码编译安装LNAMP(linux+nginx+apache+mysql+php)
- linux驱动学习(1)-ubuntu 内核源码下载及编译
- 源码编译安装lamp(linux+apache+mysql+php)
- Linux(Ubuntu)下 vim/gvim/vimgdb 源码编译安装与配置(未完待续)
- ubuntu 13 编译hadoop 2.2.0源码出现问题及解决方法