Apache Flume 分布式日志收集系统学习
2016-06-01 20:28
771 查看
初步学习Apache Flume ,从两个方面总结。
第一方面：Apache Flume 有两个版本 Flume 0.9x和 Flume NG（new generation），Flume NG是对传统的Apache Flume的精简，去掉了 Master 和Collector两种角色，只保留了Agent 一种角色。数据流（Data Flow）描述了日志数据从产生，传输，处理到最后写入目的地的路径，它是 Flume 的最抽象模型。
Flume 数据流模型
第二方面：为了有效的手机日志，系统实施时候需要在每个手机日志的服务器上安装相同版本的 Flume NG ,由于不同的网站选取的Web server不同,为了对数据有效的收集，需要对每类设定一个或者多个 Agent，对收集的不同数据进行不同的处理。
基于 Flume 的日志数据收集流程
第一方面：Apache Flume 有两个版本 Flume 0.9x和 Flume NG（new generation），Flume NG是对传统的Apache Flume的精简，去掉了 Master 和Collector两种角色，只保留了Agent 一种角色。数据流（Data Flow）描述了日志数据从产生，传输，处理到最后写入目的地的路径，它是 Flume 的最抽象模型。
Flume 数据流模型
第二方面：为了有效的手机日志，系统实施时候需要在每个手机日志的服务器上安装相同版本的 Flume NG ,由于不同的网站选取的Web server不同,为了对数据有效的收集，需要对每类设定一个或者多个 Agent，对收集的不同数据进行不同的处理。
基于 Flume 的日志数据收集流程
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 用Apache Hadoop和Apache Solr处理和索引医学图像
- Mac OS X 配置 Apache+Mysql+PHP 详细教程
- apache配置虚拟主机及虚拟目录
- ubuntu apache using 127.0.1.1. Set the 'ServerName'
- [置顶] 日志审计-apache攻击日志分析
- 用Apache Spark进行大数据处理——第二部分：Spark SQL
- 我的解决org.apache.commons.lang.xwork.StringUtils异常的方法
- Apache Thrift
- apache.commons.lang.StringUtils 使用心得
- python+Django+apache的配置方法详解
- windows 7 下安装多个 apache服务
- Apache 相关配置
- SVN版本管理系统的安装 CentOS + Subversion + Apache + Jsvnadmin
- 在django使用apache部署中增加python的查找路径
- Apache、Mysql、php搭建指南
- python+Django+apache的配置方法详解
- Apache PDFbox开发指南之PDF文本内容挖掘
- Spring通用页面布局 Apache Tiles
- lookmore-Apache Commons包含开源工具
- ubuntu 下关闭apache服务自动启动