flume 1.7 新接口,监控文件内容变化,且监控目录内新增文件变化
2017-09-20 08:44
260 查看
1.7提供新的source TAILDIR
解决了flume之前版本初始插件无法监控某一个文件内容变化的问题
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1
#配置source1
agent1.sources.source1.type=TAILDIR
agent1.sources.source1.filegroups = f1
agent1.sources.source1.filegroups.f1 = /tracy/data/.*txt.*
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
#加拦截器
agent1.sources.source1.interceptors = i1
#时间戳拦截器
agent1.sources.source1.interceptors.i1.type = timestamp
#配置channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/tracy/flume_test1
agent1.channels.channel1.dataDirs=/tracy/flume_test2
#配置sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://hadoop1:8020/test/tracy
#DataStream类似于textfile
agent1.sinks.sink1.hdfs.fileType=DataStream
#只写入event的body部分
agent1.sinks.sink1.hdfs.writeFormat=TEXT
#hdfs创建多长时间新建文件,0不基于时间
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d
解决了flume之前版本初始插件无法监控某一个文件内容变化的问题
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1
#配置source1
agent1.sources.source1.type=TAILDIR
agent1.sources.source1.filegroups = f1
agent1.sources.source1.filegroups.f1 = /tracy/data/.*txt.*
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
#加拦截器
agent1.sources.source1.interceptors = i1
#时间戳拦截器
agent1.sources.source1.interceptors.i1.type = timestamp
#配置channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/tracy/flume_test1
agent1.channels.channel1.dataDirs=/tracy/flume_test2
#配置sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://hadoop1:8020/test/tracy
#DataStream类似于textfile
agent1.sinks.sink1.hdfs.fileType=DataStream
#只写入event的body部分
agent1.sinks.sink1.hdfs.writeFormat=TEXT
#hdfs创建多长时间新建文件,0不基于时间
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d
相关文章推荐
- Spark Streaming之:Flume监控目录下文件内容变化,然后Spark Streaming实时监听Flume,然后从其上拉取数据,并计算出结果
- Flume之监控文件内容变化
- java 使用线程监控文件目录变化的实现方法
- C#实现实时监控文件目录下的变化
- C#实现实时监控文件目录下的变化
- 工具类commons-io的Tailer用法,用来监控文件内容的变化情况
- 监控文件内容变化,即时写入到新文件(tail)
- 关于flume使用SpoolDir监控目录传入文件时报出java.nio.charset.MalformedInputException: Input length = 1,个人解决方案
- 分布式日志收集框架Flume:监控一个文件实时采集新增的数据输出到控制台
- 一个监控LINUX目录和文件变化的Shell脚本分享
- java 实现监控某目录文件变化
- JAVA实时监控目录下文件的变化
- linux之tail,监控文件内容变化
- Java监控文件目录的变化
- Java 如何监控文件目录的变化 【转】
- Atitit 遍历文件夹目录解决方案与规范 attilax总结 1. 规范 2 1.1. 注意的不要同时改变文件夹内容,增删文件。这样获取到的目录list不会变化 2 1.2. 主义中文名称文件读写
- [SHELL]监控LINUX目录文件变化
- C#监控本地目录文件变化
- C# 利用FTP自动下载xml文件后利用 FileSystemWatcher 监控目录下文件变化并自动更新数据库
- Python监控目录和文件变化