您的位置:首页 > 运维架构

flume 1.7 新接口,监控文件内容变化,且监控目录内新增文件变化

2017-09-20 08:44 260 查看
1.7提供新的source    TAILDIR

解决了flume之前版本初始插件无法监控某一个文件内容变化的问题

#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1

#配置source1
agent1.sources.source1.type=TAILDIR
agent1.sources.source1.filegroups = f1
agent1.sources.source1.filegroups.f1 = /tracy/data/.*txt.*
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
#加拦截器
agent1.sources.source1.interceptors = i1
#时间戳拦截器
agent1.sources.source1.interceptors.i1.type = timestamp

#配置channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/tracy/flume_test1
agent1.channels.channel1.dataDirs=/tracy/flume_test2

#配置sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://hadoop1:8020/test/tracy
#DataStream类似于textfile
agent1.sinks.sink1.hdfs.fileType=DataStream
#只写入event的body部分
agent1.sinks.sink1.hdfs.writeFormat=TEXT
#hdfs创建多长时间新建文件,0不基于时间
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: