flume 简单案例 将一个节点的中一个日志文件的动态变化 在 另一个节点的终端输出
2016-05-22 13:04
706 查看
案例目标: 将flume3节点的中一个日志文件的动态变化 在 flume2节点的终端输出
案例总体设计:
flume3节点的配置文件
flume2的配置文件
测试验证
先启动flume2
在flume3上向日志文件输入内容
flume2上可以看到结果
案例总体设计:
flume3节点的配置文件
# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /application/flume/logs/access.log # # Describe the sink a1.sinks.k1.type = avro a1.sinks.k1.hostname = flume2 a1.sinks.k1.port = 44444 # # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
flume2的配置文件
# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 44444 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
测试验证
先启动flume2
bin/flume-ng agent --conf conf/ --conf-file conf/avro_source_logger_sink.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34343 -Dflume.root.logger=INFO,console &再启动flume3
bin/flume-ng agent --conf conf/ --conf-file conf/exec_source_avro_sink.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34343 -Dflume.root.logger=INFO,console &
在flume3上向日志文件输入内容
flume2上可以看到结果
相关文章推荐
- 第十二周学习进度
- Android.mk添加第三方jar包
- 学生管理系统--分层开发
- android app异常终止
- nyoj711最舒适的路线 (枚举 + 并查集 )
- 用户需求和产品需求的采集、分析、筛选和管理
- Android 小贴士播报
- JVM原理(只是简单描述,但知识点全面)
- redis-对Key的操作
- Android 开源项目浅读-------SwipeMenuListView-重写,八章,菜单响应
- CentOS系统 给PHP打fpm补丁时提示 -bash: patch: command not found
- android-activity启动模式
- c++实验6——数组合并
- Python 线性代数 矩阵乘法
- Linux中ctime mtime atime文件时间的区别
- 设计模式之工厂模式
- 重温Java基础之第一天
- OC 类方法的调用
- Ubuntu 14 g++ 使用c++11特性报错
- iOS开发的几个小问题(二)