CentOS上编译hadoop 2.7
2016-07-07 15:42
531 查看
官网下载的 hadoop执行运行报警告:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: `./in': No such file or directory
主要是lib下的native-hadoop 是32位的,所以这里我们自己在64位的系统上编译hadoop
环境准备:
1 下载hadoop src源码包
2 所需软件:java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake
yum -y install autoconf automake libtool ncurses-devel openssl-devel gcc lzo-devel, zlib-devel cmake
3 安装jdk
下载jdk bin包并解压
添加jdk环境变量
在/etc/profile文件下添加
## JAVA
export JAVA_HOME=/usr/local/java/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
## PATH
export PATH=$JAVA_HOME/bin
让重载环境变量 . /etc/profile
4 maven安装
apache官网下载 maven并解压,然后把其 bin路径添加到环境变量
mvn -version
5 protobuf安装
到网上搜索 protobuf-2.5.0.tar.gz,下载解压,
./configure; make; make install
protoc --version
6 ANT安装
apache官网下载 ANT bin包解压,把其bin路径添加到环境变量中
7 编译hadoop
mvn package -Pdist,native,docs -DskipTests -Dtar
这里需要一个多小时或更久,并需要联网下载依赖包
最后文件在 hadoop-2.7.2-src/hadoop-dist/target 中
可以直接拿 hadoop-2.7.2目录去部署,还有一个hadoop-2.7.2.tar.gz包
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: `./in': No such file or directory
主要是lib下的native-hadoop 是32位的,所以这里我们自己在64位的系统上编译hadoop
环境准备:
1 下载hadoop src源码包
2 所需软件:java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake
yum -y install autoconf automake libtool ncurses-devel openssl-devel gcc lzo-devel, zlib-devel cmake
3 安装jdk
下载jdk bin包并解压
添加jdk环境变量
在/etc/profile文件下添加
## JAVA
export JAVA_HOME=/usr/local/java/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
## PATH
export PATH=$JAVA_HOME/bin
让重载环境变量 . /etc/profile
4 maven安装
apache官网下载 maven并解压,然后把其 bin路径添加到环境变量
mvn -version
5 protobuf安装
到网上搜索 protobuf-2.5.0.tar.gz,下载解压,
./configure; make; make install
protoc --version
6 ANT安装
apache官网下载 ANT bin包解压,把其bin路径添加到环境变量中
7 编译hadoop
mvn package -Pdist,native,docs -DskipTests -Dtar
这里需要一个多小时或更久,并需要联网下载依赖包
最后文件在 hadoop-2.7.2-src/hadoop-dist/target 中
可以直接拿 hadoop-2.7.2目录去部署,还有一个hadoop-2.7.2.tar.gz包
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Centos6 编译安装Python
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 硬盘安装CentOS 6.2以及添加GRUB启动菜单
- CentOS 6.2实战部署Nginx+MySQL+PHP
- 单机版搭建Hadoop环境图文教程详解
- CentOS 7系统配置上的变化解析
- CentOS下DB2数据库安装过程详解
- CentOS 6.3下编译安装Ruby 2.0笔记
- 在Centos 5.5 上编译安装mysql 5.5.9
- 在阿里云的CentOS环境中安装配置MySQL的教程
- hadoop常见错误以及处理方法详解
- CentOS 6.5源码安装Erlang教程
- Centos下安装docker教程
- 在CenOS系统下安装和配置Redis数据库的教程
- centos 5.6 升级php到5.3的方法
- CentOS mysql安装系统方法