hadoop——压缩和本地库

为什么经常把hadoop的本地库和压缩一起说，原来hadoop是使用Java语言开发的，但是一些需求和操作并不适合使用java(性能问题)或某些java类库的缺失，所以就引入了本地库(c/c++编写)的概念，而压缩的一些格式就正好需要使用本地库。

1. 压缩

hadoop中为什么使用压缩，因为压缩既减少了占用磁盘的空间又加快了文件的传输速度。

hadoop中常用到的压缩格式有lzo，lz4，gzip，snappy，bzip2，关于这几种压缩格式的比较如下表

压缩格式	文件扩展名	是否可切分(split)	native	压缩率	速度	是否hadoop自带	linux命令	换成压缩格式后，原来的应用程序是否要修改
gzip	.gz	否	是	很高	比较快	是	有	和文本处理一样，不需要修改
lzo	.lzo	是	是	比较高	很快	否，需要安装	有	需要建索引，还需要指定输入格式
snappy	.snappy	否	是	比较高	很快	否，需要安装	没有	和文本处理一样，不需要修改
bzip2	.bz2	是	否	最高	慢	是	有	和文本处理一样，不需要修改

详细参考来源: http://www.linuxidc.com/Linux/2014-05/101230.htm

hadoop中的codec实现了压缩-解压缩算法

压缩格式	对应的压缩-解压缩处理类
DEFLATE	org.apache.hadoop.io.compress.DefaultCodec
gzip	org.apache.hadoop.io.compress.GzipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
LZ4	org.apache.hadoop.io.compress.Lz4Codec
Snappy	org.apache.hadoop.io.compress.SnappyCodec

实际使用举例：

按小时收集服务器日志，并且清洗数据后输出。

解决方案：

因为日志格式是文本文档且量大，所以收集后采用压缩率最高但是速度比较慢的bzip2格式压缩存储，并且bzip2格式压缩支持对输入文件的分片(虽然我们的数据还没到需要分片的地步),在MR执行任务时，会在读取时自动解压缩文件；同时可以对map任务的输出和reduce的输出做bzip2格式的压缩处理。

2. 本地库（Native Libraries）

压缩使用native库往往比使用内置java实现压缩解压缩速度快。默认情况下，hadoop会搜索本地库，如果找到就会自动加载，但通常本地库因为版本的原因需要重新安装编译，所以如果使用gzip/LZO/Snappy格式之前需要安装相应库。

下表给出了每种压缩格式的java内置实现和原生库实现

压缩格式	是否hadoop自带java实现	是否有原生实现
DEFLATE	是	是
gzip	是	是
bzip2	是	否
LZO	否	是
LZ4	否	是
Snappy	否	是

可以使用hadoop checknative查看本地库的安装情况，截图显示已安装



以上待续…