hadoop2.x编译（一）

本文通过在vmware的CentOS6.5系统下完成hadoop2.7.1的编译任务，详细说明hadoop2.x的编译方法。

编译环境：

操作系统
CentOS6.5，64位

java环境
jdk1.8.0_51

hadoop版本：hadoop2.7.1

vmware:10.0.6

1.资源下载

1.1CentOS6.5下载

CentOS6.5的下载网上很多，找一下就能找到，下边是我找的一个下载地址：
http://mirror.symnds.com/distributions/CentOS-vault/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso
1.2资源清单

jdk下载http://pan.baidu.com/s/1dDubkg5

protobuf-2.5.0.tar.gzhttp://download.csdn.net/detail/greatplain/9068133

apache-maven-3.3.3-bin.tar.gzhttp://download.csdn.net/detail/greatplain/9068119

apache-ant-1.9.4-bin.tar.gzhttp://download.csdn.net/detail/greatplain/9068109

findbugs-2.0.3.tar.gzhttp://download.csdn.net/detail/greatplain/9068153

hadoop-2.7.1-src.tar.gzhttp://download.csdn.net/detail/greatplain/9068127

2.安装

2.1.CentOS6.5安装

2.1.1创建虚拟机，完成CentOS6.5的安装

2.1.2参考 vmware虚拟机配置,完成网络设置，并确认外网畅通；

2.1.3通过secureCRT登录已安装的操作系统。

2.1.4完成lrzsz的安装。

[root@hadoop ~]$ yum install lrzsz

2.2.上传文件到虚拟机上

2.2.1创建software路径，并进入。

[root@hadoop ~]# mkdir software

[root@hadoop ~]# ll

total 68

-rw-------. 1 root root 2684 Aug 30 2015 anaconda-ks.cfg

-rw-r--r--. 1 root root 41364 Aug 30 2015 install.log

-rw-r--r--. 1 root root 9317 Aug 30 2015 install.log.syslog

drwxr-xr-x. 2 root root 4096 Aug 29 22:15 software

[root@hadoop ~]# cd software

[root@hadoop software]#

2.2.2将下载的文件复制到software路径下

2.3.jdk安装

2.3.1.解压压缩包到/usr/local目录下

[root@hadoop software]# tar -xvf jdk-8u51-linux-x64.tar.gz -C /usr/local/

2.3.2.验证:

[root@hadoop software]# ll /usr/local/

total 44

drwxr-xr-x. 2 root root 4096 Sep 23 2011 bin

drwxr-xr-x. 2 root root 4096 Sep 23 2011 etc

drwxr-xr-x. 2 root root 4096 Sep 23 2011 games

drwxr-xr-x. 2 root root 4096 Sep 23 2011 include

drwxr-xr-x. 8 uucp 143 4096 Jun 8 19:40 jdk1.8.0_51

drwxr-xr-x. 2 root root 4096 Sep 23 2011 lib

drwxr-xr-x. 2 root root 4096 Sep 23 2011 lib64

drwxr-xr-x. 2 root root 4096 Sep 23 2011 libexec

drwxr-xr-x. 2 root root 4096 Sep 23 2011 sbin

drwxr-xr-x. 5 root root 4096 Aug 30 2015 share

drwxr-xr-x. 2 root root 4096 Sep 23 2011 src

2.3.3.编辑profile文件，

[root@hadoop local]# vi /etc/profile

添加如下内容

export JAVA_HOME=/usr/local/jdk1.8.0_51

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin
保存，退出

2.3.4.使修改生效

[root@hadoop local]# source /etc/profile

2.3.5.验证

[root@hadoop local]# java -version

java version "1.8.0_51"

Java(TM) SE Runtime Environment (build 1.8.0_51-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)

注：如果版本显示1.5，或其他，可以用如下指令进行移除

yum remove java

然后重启虚拟机

2.4必备程序安装

yum -y install gcc*

yum -y install cmake

yum -y install glibc-headers

yum -y install openssl-devel

yum -y install svn

yum -y install git

yum -y install ncurses-devel

yum -y install lzo-devel

yum -y install autoconf

yum -y install libtool

yum -y install automake

yum -y install kernel-devel

yum install -y libxml2 libxml2-devel libxslt libxslt-devel