hadoop2.6.0编译环境搭建

编译环境

操作系统：redhat6.4

Java版本：jdk-7u79-linux-x64.tar.gz

Hadoop版本：hadoop -2.6.0

Maven版本：apache-maven-3.0.4.tar.gz

编译步骤

1、安装JDK、maven、findbugs（可选）

实验版本：jdk-7u79-linux-x64.tar.gz、apache-maven-3.0.4.tar.gz、findbugs-3.0.0.tar.gz，解压到/usr/local路径下，在/etc/profile中添加内容如下：

export JAVA_HOME=/usr/local/jdk1.7.0_75

exportMAVEN_HOME=/usr/local/apache-maven-3.0.5/

exportFINDBUGS_HOME=/usr/local/findbugs-3.0.0/

exportPATH=.:$MAVEN_HOME/bin:$JAVA_HOME/bin:$FINDBUGS_HOME/bin:$PATH

在shell中执行 source /etc/profile生效

2、编译protoc

Protoc buffer是google的XDR库，hadoop低层通信用到了该库。实验版本：protobuf-2.5.0.tar.gz。

执行以下命令

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

./configure --prefix=/usr/local/protoc/

make && make install

安装完成后，在/etc/profile中添加内容如下：

export PROTOC_HOME=/usr/local/protoc/

export PATH=.:$PROTOC_HOME/bin:$PATH

在shell中执行 source /etc/profile生效

3、安装所需要的依赖包

已有的就不装了，可以用yum list | grep <A>，查询A 是否安装

yum install -y gcc

yum install -y gcc-c++

yum install -y make

yum install -y cmake

yum install -y openssl-devel

yum install -y ncurses-devel。

4、编译hadoop

解压hadoop-branch-2.6.0.zip,然后进入解压目录中，执行命令：mvnpackage -DskipTests -Pdist,native,docs

编译后的target位于hadoop-dist/target/hadoop-2.6.0/目录下

5、运行

修改etc/hadoop/hadoop-env.sh文件，根据实际情况修改JAVAH_HOME和HADOOP_PREFIX两个环境变量

# set to the root of yourJava installation
export JAVA_HOME=/usr/java/latest
# Assuming yourinstallation directory is /usr/local/hadoop
export HADOOP_PREFIX=/usr/local/Hadoop
验证配置

mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'

cat output/*

至此，单机模式配置完成，默认情况下，hadoop使用单机模式，伪分布式模式和分布式模式的配置参考官方文档http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation