模拟使用Flume监听日志变化_并且把增量的日志文件写入到hdfs中
2017-06-14 00:00
477 查看
阅读全文
下沉目标,即sink—HDFS文件系统:hdfs sink
Source和sink之间的传递通道—-channel,可用file channel也可以用 内存channel。
1.采集日志文件时一个很常见的现象
采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中。
1.1.根据需求,首先定义一下3大要素:
采集源,即source—监控日志文件内容更新:exec ‘tail -F file’下沉目标,即sink—HDFS文件系统:hdfs sink
Source和sink之间的传递通道—-channel,可用file channel也可以用 内存channel。
1.2.进入/home/tuzq/software/apache-flume-1.6.0-bin/agentconf,编写配置文件tail-hdfs.conf,文件内容如下:
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source ## exec表示flume回去调用给的命令,然后从给的命令的结果中去拿数据 a1.sources.r1.type = exec ## 使用tail这个命令来读数据 a1.sources.r1.command = tail -F /home/tuzq/software/flumedata/test.log a1.sources.r1.channels = c1 # Describe the sink ## 表示下沉到hdfs,类型决定了下面的参数 a1.sinks.k1.type = hdfs ## sinks.k1只能连接一个channel,source可以配置多个 a1.sinks.k1.channel = c1 ## 下面的配置告诉用hdfs去写文件的时候写到什么位置,下面的表示不是写死的,而是可以动态的变化的。表示输出的目录名称是可变的 a1.sinks.k1.hdfs.path = /flume/tailout/%y-%m-%d/%H%M/ ##表示最后的文件的前缀 a1.sinks.k1.hdfs.filePrefix = events- ## 表示到了需要触发的时间时,是否要更新文件夹,true:表示要 a1.sinks.k1.hdfs.round = true ## 表示每隔1分钟改变一次 a1.sinks.k1.hdfs.roundValue = 1 ## 切换文件的时候的时间单位是分钟 a1.sinks.k1.hdfs.roundUnit = minute ## 表示只要过了3秒钟,就切换生成一个新的文件 a1.sinks.k1.hdfs.rollInterval = 3 ## 如果记录的文件大于20字节时切换一次 a1.sinks.k1.hdfs.rollSize = 20 ## 当写了5个事件时触发 a1.sinks.k1.hdfs.rollCount = 5 ## 收到了多少条消息往dfs中追加内容 a1.sinks.k1.hdfs.batchSize = 10 ## 使用本地时间戳 a1.sinks.k1.hdfs.useLocalTimeStamp = true #生成的文件类型,默认是Sequencefile,可用DataStream:为普通文本 a1.sinks.k1.hdfs.fileType = DataStream # Use a channel which buffers events in memory ##使用内存的方式 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
1.3.编写完成之后,启动flume,执行的命令是:
阅读全文相关文章推荐
- 模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中
- 模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中
- Flume监听文件夹中的文件变化_并把文件下沉到hdfs
- flume 增量上传日志文件到HDFS中
- Flume监听文件夹中的文件变化_并把文件下沉到hdfs
- Flume之监听目录变化并上传文件到HDFS中
- Flume监听文件夹中的文件变化,并把文件下沉到hdfs
- Hadoop硬实战之一:使用flume将系统日志文件导入HDFS
- flume实例二、监听目录日志上传到HDFS文件系统
- flume学习(五):flume将log4j日志数据写入到hdfs
- flume学习(三):flume将log4j日志数据写入到hdfs
- asp.net中使用Global.asax文件中添加应用出错代码,写入系统日志文件或数据库
- 使用commons-io-2.0 API来实现监听文件变化
- flume 简单案例 将一个节点的中一个日志文件的动态变化 在 另一个节点的终端输出
- flume-ng 使用spool source 传输文件到hdfs
- asp.net中使用Global.asax文件中添加应用出错代码,写入系统日志文件或数据库
- flume学习(五):flume将log4j日志数据写入到hdfs
- Php可以使用error_log()函数直接打日志并写入文件
- Flume监听文件目录sink至hdfs配置
- asp.net中使用Global.asax文件中添加应用出错代码,写入系统日志文件或数据库