Flume 核心组件介绍

flume 核心组件

Source

完成对日志数据的收集，收集完成后，分成transtion、event放到Sink或者Channel中。

Flume提供了各种Source的实现，包括

Avro Source：监控某一个端口

Exce Source：对linux命令如cat、tail等的输出进行监控

ExecSource 可以实现对日志的实时手机，但是存在Flume不运行或者指令执行出错时，将无法搜集到日志数据，即无法核证日志数据的完整行，

Spooling Directory Source：监控某个文件夹下生成的文件，若有新增文件，就把这个文件的数据读取到管道中来

1、放进去的目录不能再打开编辑。

2、不包含子目录。

flume主要是实时抓取数据。等log4j写完后，才能读取。所以不是实时的，但可以使用按分钟分割的方式分割日志文件，可以趋近实时。在实际的使用中，可以结合log4j使用。使用log4j的时候，将文件拷贝到spool的监控目录，log4j有一个TimeRolling的插件，基本实现实时监控。Flume在传完文件后，将会修改文件的后缀，变为.completed（后缀可以在配置文件中灵活指定），表示读过了。

NetCat Source：对某一个端口的监控

Syslog Tcp Source：

Syslog Udp Source：

Http Source :

HDFSSource：

我们写的东西开发完了，本省开发的系统不支持对，日志，访问tomcat记录

Sink

Sink从Channel管道中取数据，进行相应的操作，可能是存储到文件系统，数据库，或者提交到远程服务器。

Flume提供了各种sink的实现，包括

HDFS sink：1天好几G，好几百G，要放到hadoop中。

Logger sink：测试用的，控制台打印

Avro sink：一个客户端，传到另一个客户端

File Roll sink：一定时间生成一个文件

Null sink

HBase sink

Channel

主要提供一个队列的功能，对source提供中的数据进行简单的缓存。

Flume对于Channel，提供了

Memory Channel：可以实现高速的吞吐，但是无法保证数据的完整性。MemoryRecoverChannel在官方文档上已经建议使用FileChannel来替代。

JDBC Channel

File Channel：保证数据的完整性与一致性。可以将FileChannel输出目录设置成不同的磁盘，以提高效率。