日志收集系统简介
2014-11-05 10:08
99 查看
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍的一样,使用Flume,HDFS,HBase三大
构建实现这个功能。
2 查询不同系统的日志信息。提供Web界面,查询对应日志信息。
3 周期性统计错误日志信息,并使用邮件发出来。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍的一样,使用Flume,HDFS,HBase三大
构建实现这个功能。
2 查询不同系统的日志信息。提供Web界面,查询对应日志信息。
3 周期性统计错误日志信息,并使用邮件发出来。
相关文章推荐
- Apache Flume日志收集系统简介
- 日志收集系统Flume调研笔记第1篇 - Flume简介
- Apache Flume日志收集系统简介
- 分布式日志收集系统- Cloudera Flume 命令介绍
- 分布式日志收集系统:Facebook Scribe
- 网站日志收集方式简介【zz from 淘宝数据仓库团队blog】
- 网站日志收集方式简介
- Windows2KServer的系统日志中的常见错误收集和解释
- 使用Fluentd + MongoDB构建实时日志收集系统
- 使用Fluentd和MongoDB构建日志收集系统
- 分布式日志收集系统:Facebook Scribe
- 分布式日志收集系统: Facebook Scribe之结构及源码分析
- Milogs客户销售工作日志软件系统简介
- 分布式日志收集系统: Facebook Scribe之结构及源码分析
- 分布式日志收集系统: Facebook Scribe之日志收集方案
- 分布式日志收集系统:Facebook Scribe之配置文件
- Windows2KServer的系统日志中的常见错误收集和解释
- Windows2KServer的系统日志中的常见错误收集和解释
- 改造apache的开源日志项目来实现 分布式日志收集系统
- 分布式日志收集系统: Facebook Scribe之配置文件