hadoop-2.2.0源码编译

1.准备工作

<1>下载jdk6、maven3.1以及protobuf2.5以及hadoop2.2.0-src.tar.gz 将上述文件下载到myresource/software文件夹下

<2>载myresource文件夹下新建文件夹programfiles

<3>安装jdk

jdk.tar.gz格式：可直接解压到programfiles

jdk.bin格式：先修改操作权限 sudo chmod u+x jdk.bin 然后sudo ./jdk.bin即可安装 安装后的文件拷贝到programfiles中即可

sudo gedit /etc/profile命令执行 打开profile文件 在最后添加以下三行代码配置

J***A_HOME=/home/yufan/myresource/programfiles/jdk6

CLASSPATH=$CLASSPATH:$J***A_HOME/lib:$J***A_HOME/jre/lib

PATH=$PATH:$J***A_HOME/bin:$J***A_HOME/jre/bin

保存退出即可

<4>安装maven3

将下载的maven3文件解压到programfiles

sudo gedit /etc/profile命令执行 打开profile文件 在最后添加以下两行代码配置

M***EN_HOME=/home/yufan/myresource/programfiles/maven

PATH=:$PATH:$M***EN_HOME/bin

保存退出即可

<5>protofub2.5安装

解压文件,一次运行以下命令即可

sudo apt-get install g++（这个安装protobuf的时候需要提前安装 否则make install不成功）

cd protobuf-2.5.0

./configure

make

make check

make install

sudo gedit ~/.profile

再打开的文件中 添加以下代码

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

source ~/.profile

protoc --version

此时便可看到protoc的版本信息 表示已经安装成功

2.hadoop2.2.0的源码编译

<1>将源码解压后，进入解压目录

<2>运行以下代码即可

mvn clean package -Pdist,native -DskipTests -Dtar

请确保网络连接正常 该命令需要联网下载jar以及相关文件

完成后,hadoop-dist/target/hadoop-2.2.0.tar.gz便是编译后的文件了

编译过程中会出现一个错误 这个错误是由于hadoop2.2.0的代码bug导致的,解决办法如下

hadoop-common-project/hadoop-auth/pom.xml

再改文件中添加以下以来配置

<dependency>
     <groupId>org.mortbay.jetty</groupId>
     <artifactId>jetty-util</artifactId>
     <scope>test</scope>

</dependency>
<dependency>
     <groupId>org.mortbay.jetty</groupId>
     <artifactId>jetty</artifactId>
     <scope>test</scope>
</dependency>

然后重新运行mvn clean package -Pdist,native -DskipTests -Dtar命令编译即可