您的位置:首页 > 其它

日志收集系统简介

2014-11-05 10:08 99 查看
        基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。

使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。

HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获

取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:

      1 数据采集、转换和存储。正如上面介绍的一样,使用Flume,HDFS,HBase三大
         构建实现这个功能。
      2 查询不同系统的日志信息。提供Web界面,查询对应日志信息。
      3 周期性统计错误日志信息,并使用邮件发出来。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  cloud