Flume应用案例之监控一个文件实时采集新增的数据输出到控制台

版权声明：个人博客网址 https://29dch.github.io/ GitHub网址 https://github.com/29DCH，欢迎大家前来交流探讨和fork! https://blog.csdn.net/CowBoySoBusy/article/details/83088888

紧接我的前两篇博客讲下来
分布式日志收集框架Flume环境安装部署
Flume应用案例之从指定网络端口采集数据输出到控制台
阅读这篇博客如有问题，可以先参考阅读我的这两篇博客相关内容
Agent选型:exec source + memory channel + logger sink
在conf目录下创建exec-memory-logger.conf文件

vi exec-memory-logger.conf

在这个/home/zq/data(根据你自己的来)路径下创建一个data.log文件
配置exec-memory-logger.conf文件如下：
在exec-memory-logger.conf文件中加入以下内容并保存

#Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/zq/data/data.log
a1.sources.r1.shell = /bin/sh -c

#Describe the sink
a1.sinks.k1.type = logger

#Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent：
先cd进入conf目录
依次执行以下命令

flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/exec-memory-logger.conf \
-Dflume.root.logger=INFO,console

现在开始测试
新开一个终端，往上面已经创建好的data.log文件里面echo一些内容
效果如下图

可见这次测试是成功的，控制台有对应的输出显示
这样就实现了监控一个文件实时采集新增的数据并输出到控制台

当然了，在实际生产环境中将大量日志或者其他信息输入到控制台显然不太合理．离线状态下我们可以选择输入到HDFS分布式文件系统，实时的话可以存储到Kafka中，当然还有其他存储系统中去

以HDFS为例：
这时修改上面的flume配置文件参数，然后开启HDFS服务(详情见我的关于HDFS的相关博客)，再测试一下即可


详情见flume用户文档
https://flume.apache.org/FlumeUserGuide.html#hdfs-sink

阅读更多