分布式数据日志收集之Flume的安装和使用
2017-06-25 15:14
330 查看
1.在http://archive.cloudera.com/cdh5/cdh/5/下载,相应的版本(我是用的flume-ng-1.5.0-cdh5.3.6.tar.gz),
然后解压,进入conf目录下,将flume-env.sh.template复制并重新命名为 flume-env.sh,配置JAVA_HOME,并且配置相应的JAVA_OPTS
(可以默认)
2.为了实验flume的使用在conf目录下创建test1.conf,并且内容为:
a1.sources=r1
a1.channels=c1
a1.sinks=k1
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=4444
a1.sources.r1.channels=c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.sinks.k1.type=logger
a1.sinks.k1.channel=c1
3)启动flume:flume-ng agent --conf ./conf/ --conf-file test1.conf --name a1 -Dflume.root.logger=INFO,console
4)在win上使用telnet IP 端口,进行测试
然后解压,进入conf目录下,将flume-env.sh.template复制并重新命名为 flume-env.sh,配置JAVA_HOME,并且配置相应的JAVA_OPTS
(可以默认)
2.为了实验flume的使用在conf目录下创建test1.conf,并且内容为:
a1.sources=r1
a1.channels=c1
a1.sinks=k1
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=4444
a1.sources.r1.channels=c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.sinks.k1.type=logger
a1.sinks.k1.channel=c1
3)启动flume:flume-ng agent --conf ./conf/ --conf-file test1.conf --name a1 -Dflume.root.logger=INFO,console
4)在win上使用telnet IP 端口,进行测试
相关文章推荐
- 日志收集框架flume的安装及简单使用
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- flume学习(六):使用hive来分析flume收集的日志数据
- Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集
- flume学习(六):使用hive来分析flume收集的日志数据
- asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程
- flume学习(六):使用hive来分析flume收集的日志数据
- flume安装和使用flume1.5传输数据(日志)到hadoop2.2
- flume学习(五):使用hive来分析flume收集的日志数据
- 分布式日志收集框架Flume:从指定网端口采集数据输出到控制台
- 使用hive来分析flume收集的日志数据
- 安装和使用flume1.5传输数据(日志)到hadoop2.2
- C#实现多级子目录Zip压缩解压实例 NET4.6下的UTC时间转换 [译]ASP.NET Core Web API 中使用Oracle数据库和Dapper看这篇就够了 asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程 asp.net core异步进行新增操作并且需要判断某些字段是否重复的三种解决方案 .NET Core开发日志
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- flume学习(六):使用hive来分析flume收集的日志数据
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- 使用hive来分析flume收集的日志数据
- 分布式日志收集框架Flume:监控一个文件实时采集新增的数据输出到控制台
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2 文档 安装问题
- 让你系统认识flume及安装和使用flume1.5传输数据到hadoop2.2