分布式日志收集框架Flume:监控一个文件实时采集新增的数据输出到控制台
2018-01-23 16:51
651 查看
前提:主机上的其他的配置都已经完成,很重要的一点是/etc/hosts路径文件下的ip要是你当前使用的ip
Agent选型:exec source + memory channel +logger sink
#以下为配置文件,在这里我的配置文件路径为 $FLUME_HOME/conf /exec-memory-logger.conf
#即将下面的配置代码放到exec-memory-logger.conf里面
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec #此时的sources type是exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log #监控的文件
a1.sources.r1.shell = /bin/sh -c
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1启动Agent
flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf /exec-memory-logger.conf \ #配置文件路径
-Dflume.root.logger = INFO,console #把日志信息打到控制台
当在被监控的log.data的文件下输入内容时,控制台会显示输入的内容
Agent选型:exec source + memory channel +logger sink
#以下为配置文件,在这里我的配置文件路径为 $FLUME_HOME/conf /exec-memory-logger.conf
#即将下面的配置代码放到exec-memory-logger.conf里面
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec #此时的sources type是exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log #监控的文件
a1.sources.r1.shell = /bin/sh -c
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1启动Agent
flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf /exec-memory-logger.conf \ #配置文件路径
-Dflume.root.logger = INFO,console #把日志信息打到控制台
当在被监控的log.data的文件下输入内容时,控制台会显示输入的内容
相关文章推荐
- 分布式日志收集框架Flume:从指定网端口采集数据输出到控制台
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)
- Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集
- 一共81个,开源大数据处理工具汇总:查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘=监控
- 一共81个,开源大数据处理工具汇总:查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘=监控
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)
- Java实时监控日志文件并输出的方法详解
- Flume, Kafka和NiFi,大数据实时日志数据收集、数据获取技术哪家强?
- 大数据日志收集框架之Flume入门
- 实时收集文件框架之Flume
- 实时收集文件框架之Flume
- Flume的使用之二——实时监控文件的数据变化并发送到工作台
- 实时收集文件框架之Flume
- Java实时监控日志文件并输出_java线程池
- Flume+Kafka+Zookeeper搭建大数据日志采集框架
- 实时收集文件框架之Flume
- Flume应用之三——将一个服务器上的日志实时采集到另一个服务器上
- flume 简单案例 将一个节点的中一个日志文件的动态变化 在 另一个节点的终端输出
- 从Apache的日志文件收集和提供统计数据(一个Python插件架构的简单实现)
- Java实时监控日志文件并输出