flume的级别的架构使用--实际场景应用--可以用于分布式的服务形式的日志采集

首先这个是我的原创文章,也参考了网络上的各位大神的文章加上自己的总结,欢迎各位大神指出错误!我们共同进步！

flume级别的架构使用（常用模式）

直接上干货,文字性的描述有



1.介绍：

log是各个分布式服务的日志,可用从web的service产生的log

Source组件（每一个的）都是采集不同的service的服务的log

channel组件（每一个的）都是接收不同source传过来的log

Sink组件（每一个的）都是接收对应的channel管道的log

上面所有的服务的都需要再次汇总到一个flume的source组件中,在通过一样的关系在下沉到你想要到的地方

2.好处：

这种模式也是可以达到复制日志的目的,尤其是在最后使用的一个Sink中下沉的时候可以复制存储到不同的位置.比如hdfs中。

这种模式也是可以达到分流的作用,尤其是在最后使用的一个Sink中下沉的时候可以分流到不同的地方

3.也能实现负载均衡:

负载均衡:英文名称为Load Balance，其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务.

上面完成的也是多个的并行执行模式