您的位置:首页 > 运维架构

分布式日志收集框架Flume:监控一个文件实时采集新增的数据输出到控制台

2018-01-23 16:51 651 查看
前提:主机上的其他的配置都已经完成,很重要的一点是/etc/hosts路径文件下的ip要是你当前使用的ip

Agent选型:exec source + memory channel +logger sink

#以下为配置文件,在这里我的配置文件路径为 $FLUME_HOME/conf /exec-memory-logger.conf
#即将下面的配置代码放到exec-memory-logger.conf里面
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec #此时的sources type是exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log #监控的文件
a1.sources.r1.shell = /bin/sh -c

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1启动Agent
flume-ng agent  \

--name a1  \

--conf  $FLUME_HOME/conf  \

--conf-file   $FLUME_HOME/conf /exec-memory-logger.conf  \ #配置文件路径

-Dflume.root.logger = INFO,console   #把日志信息打到控制台

当在被监控的log.data的文件下输入内容时,控制台会显示输入的内容
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐