关于Flume-ng那些事(二)
2014-03-23 00:00
381 查看
继续我们的测试。 编辑flume.conf配置文件
sources 部分定义 agent1.sources.avro-source1.channels = ch1 #agent名称.sources.sources名称.使用的channels agent1.sources.avro-source1.type = avro #同上最后一个点.type 类型 avro agent1.sources.avro-source1.bind = 0.0.0.0 #最后一个点.bind 绑定地址 agent1.sources.avro-source1.port = 41414 #最后一个点.port 指定端口 —————————我是分割线—————————
channel 部分定义: agent1.channels.ch1.type = memory #agent名称.channels.channels名称.使用的类型 —————————我是分割线————————— agent1.sinks.log-sink1.channel = ch1 # agent名称.sinks.sinks名称.从哪个channel收集events agent1.sinks.log-sink1.type = logger #最后一个点.type sinks类型。 —————————————————————————————— 开始我们的测试: 首先开启客户端:
# Define a memory channel called ch1 on agent1 agent1.channels.ch1.type = memory # Define an Avro source called avro-source1 on agent1 and tell it # to bind to 0.0.0.0:41414. Connect it to channel ch1. agent1.sources.avro-source1.channels = ch1 agent1.sources.avro-source1.type = avro agent1.sources.avro-source1.bind = 0.0.0.0 agent1.sources.avro-source1.port = 41414 # Define a logger sink that simply logs all events it receives # and connect it to the other end of the same channel. agent1.sinks.log-sink1.channel = ch1 agent1.sinks.log-sink1.type = logger # Finally, now that we've defined all of our components, tell # agent1 which ones we want to activate. agent1.channels = ch1 agent1.sources = avro-source1 agent1.sinks = log-sink1一个agnet的完整配置文件需要如下内容: a,Sources, sources type b,Sinks ,sinks type c,Channel ,Channel type d,使用Channel 来串接Sources和Sinks 我们根据上述的flume.conf 文件来做下解释,该配置文件其实应该调整下顺序。 先定义下sources、slinks、channels。flume-ng agent名字为agent1,该名字和后续启动agent程序-n 后的名称要保持一致。 agent1.channels = ch1 #channels 名称 ch1 agent1.sources = avro-source1 #sources 名称 avro-source1 名字能望文生义,不错:) agent1.sinks = log-sinke1 # sinks 名称为 log-sink1 —————————我是分割线—————————
sources 部分定义 agent1.sources.avro-source1.channels = ch1 #agent名称.sources.sources名称.使用的channels agent1.sources.avro-source1.type = avro #同上最后一个点.type 类型 avro agent1.sources.avro-source1.bind = 0.0.0.0 #最后一个点.bind 绑定地址 agent1.sources.avro-source1.port = 41414 #最后一个点.port 指定端口 —————————我是分割线—————————
channel 部分定义: agent1.channels.ch1.type = memory #agent名称.channels.channels名称.使用的类型 —————————我是分割线————————— agent1.sinks.log-sink1.channel = ch1 # agent名称.sinks.sinks名称.从哪个channel收集events agent1.sinks.log-sink1.type = logger #最后一个点.type sinks类型。 —————————————————————————————— 开始我们的测试: 首先开启客户端:
# flume-ng agent -n agent1 -c /opt/apps/flume-ng/conf/ -f flume.conf &#注意名字agent1要和配置文件定义的一致。 开启avro-client客户端读取/etc/passwors 文件:
# flume-ng avro-client -c /opt/apps/flume-ng/conf/ -H localhost -p 41414 -F /etc/passwd#启动avro-client 读取/etc/passwd 后进程退出。 验证下我们的测试情况,查看flume.log 详见附件flume_log01.txt
相关文章推荐
- 关于Flume-ng那些事(四)
- 关于Flume-ng那些事(三)
- 关于Flume-ng那些事(一)
- 关于堆和栈的那些事
- 关于跨域那些事
- flume-ng源码阅读RollingFileSink(原创)
- 关于QT的那些事(一)
- 关于IOCP那些事
- 关于前端跨域那些事(nginx 反向代理 跨域)
- Flume-ng配置
- Flume(NG)架构设计要点及配置实践
- 关于‘data-’自定义属性、element traversal API、history、navigator、ng-bind的某些事
- 关于android Ripple Effect的那些事
- 关于ojdbc6与class12那些事
- 关于Java中String你可能不知道的那些事
- 关于cvAbsDiff的那些事
- 关于cvAdsDiffS的那些事
- Flume-ng 例子
- 纯手打:新手入门关于kali 1.1 的那些事
- 关于烂代码的那些事(下)