Hadoop集群内lzo的安装与配置

为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正文：
最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。
操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4
安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖
配置lzo的文件：core-site.xml、mapred-site.xml
大致步骤：
1)安装和更新gcc、ant
2)在各个节点安装lzo
3)安装lzo编码/解码器
4)修改配置文件，并同步各节点的配置文件
注：没有特别指出的话，所有操作都是在Namenode中进行的
一、lzo安装：
1、gcc的安装：yum即可，记得同时更新lib*、glibc*、gcc*
2、ant的安装：
删除旧版本：yum remove ant
安装新版本：
wgethttp://mirror.bjtu.edu.cn/apache//ant/binaries/apache-ant-1.8.2-bin.tar.bz2

tar -jxvf apache-ant-1.8.2-bin.tar.bz2
添加ant的环境变量：
vi /etc/profile
export ANT_HOME=/usr/local/apache-ant-1.8.2
export PATH=$PATH:$ANT_HOME/bin
source /etc/profile
3、lzo的安装：
wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz

tar -zxvf lzo-2.04.tar.gz
./configure --enable-shared
make && make install
库文件被默认安装到了/usr/local/lib，我们需要进一步指定lzo库文件的路径，两个方法都可以：
1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib(32位平台)，或/usr/lib64(64位平台)
2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件，写入lzo库文件的路径，然后运行/sbin/ldconfig -v，使配置生效
4、在各个节点安装lzo：
这句话本可以一笔带过，但我把它单独列出作为一步，就是要提醒大家：Namenode和Datanode都要安装lzo!
所需软件包：gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm
安装过程：略
调整库文件路径：略
5、lzo编码/解码器的安装：
这里必须要说明：如果hadoop是cloudera版的，那么lzo编码/解码器就不要用google官方的那个!
到这里下载：https://github.com/kevinweil/hadoop-lzo。我曾经被官方那个东西郁闷了很久，搜索了大量资料，最后搞明白。
wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz
cd kevinweil-hadoop-lzo-2ad6654
ant compile-native tar
编译失败：
make: *** [impl/lzo/LzoCompressor.lo] Error 1
解决方法参考：http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1
我这里是由于缺少lzo-devel依赖的原因，lzo-devel有lzo- 2.04-1.el5.rf的依赖：
wgethttp://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm
wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm rpm -ivh lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm
重新ant compile-native tar，编译成功!

编译时 会遇到 一些问题

但是本人遇到了以下问题
a. compile-java:

[javac] /data/hadoop-lzo-master/build.xml:243: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds

check-native-uptodate:

compile-native:

[javah] 错误: 找不到类org.apache.hadoop.conf.Configuration。

BUILD FAILED

/data/hadoop-lzo-master/build.xml:269: compilation failed
解决方法：
在 kevinweil-hadoop-lzo-6bb1b7f/build.xml 里面（Ctrl+F compile-java可迅速定位）
<target name="compile-java" depends="init">

<javac

encoding="${build.encoding}"

srcdir="${java.src.dir}"

includes="**/*.java"

destdir="${build.classes}"

debug="${javac.debug}"

optimize="${javac.optimize}"

target="${javac.version}"

source="${javac.version}"

deprecation="${javac.deprecation}">

<compilerarg line="${javac.args} ${javac.args.warnings}" />

<classpath refid="classpath"/>

</javac>

<copy todir="${build.classes}">

<fileset dir="${java.src.dir}" includes="**/*.properties"/>

</copy>

</target>
加入一行
<target name="compile-java" depends="init">

<javac
includeantruntime="false"

encoding="${build.encoding}"

srcdir="${java.src.dir}"

includes="**/*.java"

destdir="${build.classes}"

debug="${javac.debug}"

optimize="${javac.optimize}"

target="${javac.version}"

source="${javac.version}"

deprecation="${javac.deprecation}">

<compilerarg line="${javac.args} ${javac.args.warnings}" />

<classpath refid="classpath"/>

</javac>

<copy todir="${build.classes}">

<fileset dir="${java.src.dir}" includes="**/*.properties"/>

</copy>

</target>
b. compile-native:

[javah] 错误: 找不到类org.apache.hadoop.conf.Configuration。

BUILD FAILED

/data/hadoop-lzo-master/build.xml:270: compilation failed
解决方法：
在 kevinweil-hadoop-lzo-6bb1b7f/build.xml 里面将（Ctrl+F javah可迅速定位）
<javah classpath="${build.classes}"

destdir="${build.native}/src/com/hadoop/compression/lzo"

force="yes"

verbose="yes">

<class name="com.hadoop.compression.lzo.LzoCompressor" />

<class name="com.hadoop.compression.lzo.LzoDecompressor" />

</javah>

加入一行
<javah classpath="${build.classes}"

destdir="${build.native}/src/com/hadoop/compression/lzo"

force="yes"

verbose="yes">

<class name="com.hadoop.compression.lzo.LzoCompressor" />

<class name="com.hadoop.compression.lzo.LzoDecompressor" />
<classpath refid="classpath" />

</javah>

编译成功后，还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下，拷贝操作请参考google的官方文档：
cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/
tar -cBf - -C build/native . | tar -xBvf - -Chome/hadoop/hadoop-0.20.2-CDH3B4/lib/native

cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/
chown -R hdfs:hadoop native/
6、同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录
这里有一点要说明，由于某种原因，我把它们也拷贝到了hbase的相应目录下，但我认为其实是不需要拷贝的。
当初在集群内测试lzo时，遇到了问题，我以为hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目录，就 把它们拷贝到了hbase。后来问题解决，发现不是hbase的原因，但我最终没有在hbase里删除它们。所以，是否有必要把它们也拷贝到hbase， 有待于大家亲自测试。

以上 就是 把 编译后的 文件放入 hadoop的native 目录
把编译后的 jar包 放到 Hadoop 的lib 目录 下面

二、配置lzo：
1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性：

vi core-site.xml：
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.Gzip
Codec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
vi mapred-site.xml：
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapred.child.env</name>
<value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value>

</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
2、同步各节点的配置文件!
三、hadoop集群内测试lzo：
首先，安装lzop，生成一些lzo文件，然后上传到hdfs，供我们的开发人员在hive中直接调用。
lzo前面已经安装，lzo库文件的路径也已经调整，现在只要安装lzop就可以了：
wget http://www.lzop.org/download/lzop-1.03.tar.gz tar -zxvf lzop-1.03
cd lzop-1.03
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/ lib
./configure
make && make install
要说明的是，在指定LD_LIBRARY_PATH时，我没有使用官方帮助文档中的写法，因为那个写法在编译时老出错，不知什么原因。

压缩文件 ：lzop 文件
解压文件： lzop -d 压缩文件

lzop -U -9 66_22_2011-04-14.txt
$HADOOP_HOME/bin/hadoop fs -copyFromLocal/home/hdfs/66_22_2011-04-14.txt.lzo /user/s3/ifocus

开发人员在Hive中直接调用这个lzo文件时出错：
Failed with exceptionjava.io.IOException:java.lang.RuntimeException: native-lzo library notavailable
这个错误，困住了我整整两天!试了各种方法都不行，期间的辛苦自不必待言，直到我看到一个网 页：http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。(注：访问该网页需要用代理。万恶的网络管制!)
页面的最下方，有这样一句话：So, I just deleted the hadoop-gpl-compression and everything startedworking.于是，我删除了$HADOOP_HOME/lib目录下的hadoop-gpl-compression-0.1.0.jar，终 于，everythingis OK!
所以，如果你也像我一样，做了所有该做的事情，但是调用lzo时还是会出现native-lzo library not available的错误，请检查你的$HADOOP_HOME/lib目录下是否有google官方的那个lzo编码/解码器!

测试 hadoop lzo 是否成功,如果执行成功，表示 成功

hadoop jar /path/to/your/hadoop-lzo.jarcom.hadoop.compression.lzo.LzoIndexer big_file.lzo

hadoop jar/usr/lib/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /user/hadoop/file.avl.lzo

在 配置 mapreduce 时，要把 hadoop-lzo.jar包 放到 yarn 的 lib 下面 ，要不然 会报 找不到 类包。