日志收集框架flume的安装及简单使用
2017-05-08 22:06
726 查看
flume介绍
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
一般的采集需求,通过对flume的简单配置即可实现
Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景
flume运行机制
1、 Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成
2、 每一个agent相当于一个数据传递员,内部有三个组件:
a) Source:采集源,用于跟数据源对接,以获取数据
b) Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据
c) Channel:angent内部的数据传输通道,用于从source将数据传递到sink
flume采集系统结构
单个agent采集数据:
多个agent串联采集数据:
flume的安装部署(前提:已有hadoop集群环境)
1、上传安装包到数据源所在节点上(这里是hadoop1)
在SecureCRT中,开启集群环境。
cd /usr/local/
ALT + P,进入到sftp中,然后拖动安装包,就上传到了/usr/local/目录下。
2、解压tar -zxvf apache-flume-1.6.0-bin.tar.gz
删除安装包rm -rf apache-flume-1.6.0-bin.tar.gz
重命名mv apache-flume-1.6.0-bin flume
3、在conf/flume-env.sh里面配置JAVA_HOME
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
export JAVA_HOME=/usr/local/jdk
4、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可自定义)
5、指定采集方案配置文件,在相应的节点上启动flume agent
示例测试环境是否正常?(监听网络端口接收数据)
1、先在flume/conf/目录下新建一个配置文件 vi netcat-logger.conf
2、启动agent去采集数据(在flume目录下执行这个命令)
-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.conf 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
注意:
本人在启动的时候出现了错误。有两处改动一下就行了。可以查看flume-ng,查看相关用法。(在bin目录下执行 将配置文件的路径改为全路径)
flume-ng agent -c conf -f /usr/local/flume/conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
3、测试
先要往agent采集监听的端口上发送数据,让agent有数据可采
随便在一个能跟agent节点联网的机器上
可以本地hadoop1向自己发送数据(亲自操作成功)
也可以在别的机器上hadoop2或者hadoop3向hadoop1发送数据(没有操作成功,出现连接拒绝!!!)
telnet agent-hostname port (telnet localhost 44444)
注意:
在hadoop2上,使用telnet命令时,出现错误,提示没有这个命令!!!
rpm -qa | grep telnet* 发现没有安装Telnet。所以需要在Linux安装Telnet。
安装Telnet的方法:
1、安装xinetd:yum install xinetd(安装之前要先安装#yum install xinetd (注意在root下安装)因为,telnet要依靠xinetd服务启动,所以要先安装该服务)
2、安装Telnet服务端:yum install telnet-server
3、安装Telnet客户端:yum install telnet.*
4、配置Telnet:
vi /etc/xinetd.d/telnet
将里面的disable=yes改为disable=no
注意:Telnet服务只允许非root用户登录!!!
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
一般的采集需求,通过对flume的简单配置即可实现
Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景
flume运行机制
1、 Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成
2、 每一个agent相当于一个数据传递员,内部有三个组件:
a) Source:采集源,用于跟数据源对接,以获取数据
b) Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据
c) Channel:angent内部的数据传输通道,用于从source将数据传递到sink
flume采集系统结构
单个agent采集数据:
多个agent串联采集数据:
flume的安装部署(前提:已有hadoop集群环境)
1、上传安装包到数据源所在节点上(这里是hadoop1)
在SecureCRT中,开启集群环境。
cd /usr/local/
ALT + P,进入到sftp中,然后拖动安装包,就上传到了/usr/local/目录下。
2、解压tar -zxvf apache-flume-1.6.0-bin.tar.gz
删除安装包rm -rf apache-flume-1.6.0-bin.tar.gz
重命名mv apache-flume-1.6.0-bin flume
3、在conf/flume-env.sh里面配置JAVA_HOME
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
export JAVA_HOME=/usr/local/jdk
4、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可自定义)
5、指定采集方案配置文件,在相应的节点上启动flume agent
示例测试环境是否正常?(监听网络端口接收数据)
1、先在flume/conf/目录下新建一个配置文件 vi netcat-logger.conf
# 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件:r1 #netcat可以设置读取一行数据的长度,否则这样的话,一行数据太长,只会读取到前一部分 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # 描述和配置sink组件:k1 a1.sinks.k1.type = logger # 描述和配置channel组件,此处使用是内存缓存的方式 #capacity:默认该通道中最大的可以存储的event数量 #trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event数量 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 描述和配置source channel sink之间的连接关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 |
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console |
-f conf/netcat-logger.conf 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
注意:
本人在启动的时候出现了错误。有两处改动一下就行了。可以查看flume-ng,查看相关用法。(在bin目录下执行 将配置文件的路径改为全路径)
flume-ng agent -c conf -f /usr/local/flume/conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
3、测试
先要往agent采集监听的端口上发送数据,让agent有数据可采
随便在一个能跟agent节点联网的机器上
可以本地hadoop1向自己发送数据(亲自操作成功)
也可以在别的机器上hadoop2或者hadoop3向hadoop1发送数据(没有操作成功,出现连接拒绝!!!)
telnet agent-hostname port (telnet localhost 44444)
注意:
在hadoop2上,使用telnet命令时,出现错误,提示没有这个命令!!!
rpm -qa | grep telnet* 发现没有安装Telnet。所以需要在Linux安装Telnet。
安装Telnet的方法:
1、安装xinetd:yum install xinetd(安装之前要先安装#yum install xinetd (注意在root下安装)因为,telnet要依靠xinetd服务启动,所以要先安装该服务)
2、安装Telnet服务端:yum install telnet-server
3、安装Telnet客户端:yum install telnet.*
4、配置Telnet:
vi /etc/xinetd.d/telnet
将里面的disable=yes改为disable=no
注意:Telnet服务只允许非root用户登录!!!
相关文章推荐
- asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程
- C#实现多级子目录Zip压缩解压实例 NET4.6下的UTC时间转换 [译]ASP.NET Core Web API 中使用Oracle数据库和Dapper看这篇就够了 asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程 asp.net core异步进行新增操作并且需要判断某些字段是否重复的三种解决方案 .NET Core开发日志
- 日志收集框架 Flume 组件之Source使用
- Hadoop详解(七)——Hive的原理和安装配置和UDF,flume的安装和配置以及简单使用,flume+hive+Hadoop进行日志处理
- 错误日志收集sentry的安装与简单使用
- 分布式数据日志收集之Flume的安装和使用
- 日志采集框架Flume的安装及使用
- 日志收集系统Flume的简单安装Centos7
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- 日志收集系统Flume调研笔记第2篇 - Flume配置及使用实例
- iOS开发进阶 - 日志输出框架CocoaLumberjack与XcodeColors插件的简单使用(swift版)
- Mongodb学习日志(一):安装使用及简单操作
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- flume安装和使用flume1.5传输数据(日志)到hadoop2.2
- PHP Yaf框架的简单安装使用教程(推荐)
- PHP CI框架的安装配置和简单使用
- 大数据日志收集框架之Flume入门
- Flume NG源码分析(五)使用ThriftSource通过RPC方式收集日志
- Flume安装与应用,日志收集保存
- 使用hive来分析flume收集的日志数据