flume-ng简单介绍

flume 官网：http://flume.apache.org/FlumeUserGuide.html

先把flume做一个简单的比喻帮助理解：

有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口，

水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent。

flume主要是由 source channel sink 三部分组成，这三个组件的主要作用是 搜集信息，传递信息，存储信息；

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;

同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。flume的数据流由事件(Event)贯穿始终。

事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件

后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

下面这个图是他的一个基本原理：





当然flume 也可是实现多个agent之间的互联：





或者





官网提供了多种source和skin，可以根据自己的需要进行选择：

官网提供了多种source和skin还有channel，可以根据自己的需要进行选择：

官网提供的source：





skin：





channel：





当然 官网也提供了Interceptors等过滤器 可以通过正则等一些过滤规则实现日志的过滤；

下面一篇博客为大家详细给出应用配置： source 是avro ，skin是 hdfs的一个列子。用来收集java项目中的log4j日志；

地址是 /article/8383871.html