Apache Flume - HDFSSink

这篇文章是关于Flume HDFSSink的，以Flume-1.3.1版为依据。Flume设计目标是：高效收集聚合大量的日志数据。Fluem是一个可靠的、可用的、分布式日志收集聚合系统。Flume体系结构基于流式数据流设计。其中Flume Sink主要承担将数据传输到下一跳或最终目的的任务。



HDFSSink用来将数据写入Hadoop分布式文件系统（HDFS）中。支持创建text和sequence文件。支持这2种文件类型的压缩。支持文件周期性滚动（就是关闭当前文件在建立一个新的），滚动可以基于时间、数据大小、事件数量。也支持通过event hearder属性timestamp或host分割数据。HDFS目录路径或文件名支持格式化封装，相应的封装串在HDFSSink生成目录或文件时被恰当的替换。使用HDFSSink需要首先安装hadoop，HDFSSink是通过hadoop jar和HDFS集群通信的。注意Hadoop版本需要支持sync().
以下是HDFS支持的封装串：



使用中的文件以".tmp"结尾，一旦文件关闭，这个扩展名将被移除。这样我们就可以排除没有完成的文件。时间相关的封装串都依赖于event的header中的timestamp属性。HDFSSink的属性如下：



配置示例：

log-collector.sources=screen

log-collector.sinks=screen

log-collector.channels=screen

# Describe the source

略

# Describe the sink

log-collector.sinks.screen.type = hdfs

#日志保存路径，这里按天存放

log-collector.sinks.screen.hdfs.path=hdfs://nn.uusee.com:9000/user/flume/original/screen/%Y/%m/%d

#文件前缀，也可以使用封装串

log-collector.sinks.screen.hdfs.filePrefix=screen-%Y%m%d-%H0000000

#使用LZO压缩算法，注意这里有一个bug，使用LzopCodec时文档没有说明

log-collector.sinks.screen.hdfs.codeC=LzopCodec

log-collector.sinks.screen.hdfs.fileType=CompressedStream

#每10分钟滚动

log-collector.sinks.screen.hdfs.rollInterval=600

#不根据文件大小滚动

log-collector.sinks.screen.hdfs.rollSize=0

#不根据事件条数滚动

log-collector.sinks.screen.hdfs.rollCount=0

log-collector.sinks.screen.hdfs.writeFormat=Text

#批量保存大小，需要和channel的匹配

log-collector.sinks.screen.hdfs.batchSize=1000

log-collector.sinks.screen.hdfs.threadsPoolSize=15

#hadoop集群响应时间较长时需要配置

log-collector.sinks.screen.hdfs.callTimeout=30000

# Describe the channel

log-collector.channels.screen.type = file

log-collector.channels.screen.checkpointDir = /data0/flume-ng-channel/log/screen/checkpoint

log-collector.channels.screen.dataDirs = /data0/flume-ng-channel/log/screen/data

log-collector.channels.screen.capacity = 2000000

log-collector.channels.screen.transactionCapacity = 1000

# Bind the source and sink to the channel

log-collector.sources.screen.channels = screen

log-collector.sinks.screen.channel = screen