Apache Flume

Apache Flume

来自Flume 1.6.0 User Guide

A Flume agent 包括 Source Channel Sink

source

Flume sourcec 消费外部传来的事件，根据消费的事件类型区分不同的source

Avro source （Avro是一个基于二进制数据传输高性能的中间 http://www.open-open.com/lib/view/open1369363962228.html

Thrift Source (FaceBook开发的远程服务调用框架 http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/

Exec Source ： Unix命令输出

JMS Source

Kafka Source

HTTP Source

channel

event放在channel中 source往其中添加event，sink消费event

sink

消费channel中规定event并向外推送