从零编写日志分析系统之需求分析

前言

最近在公司架设一个日志分析平台，记录一下相关技术的研究和步骤。

技术架构

前端技术

采用vue.js作为前端基础组件。

采用elementUI作为表单UI

采用echarts图表工具进行实时数据展现。

采用kibana作为数据展现。

后端技术

采用java语言编写。

使用filebeat进行应用服务器日志采集。

使用logstash进行日志解析和日志转发。

自定义sdk作为系统内数据采集工具。

使用dubbo作为服务调用工具。

使用kafka作为异步消息总线。

使用storm作为实时数据处理工具。

使用elasticsearch作为日志存储工具和离线数据处理。

使用redis作为即时数据存储工具。

使用mysql作为结构化数据存储工具。

使用shiro作为权限管理工具。

使用zookeeper作为分布式锁和配置管理工具。

项目目标

问题快速诊断

日志散落在各个系统中，问题发生时需要各个系统查找出问题根源，费事费力。在Dashboard上展现应用相关的各类日志信息，问题发生时能够一站式搜索定位根源。

应用性能监控

从海量访问日志中提取访问量、访问成功率、访问响应时间等高价值信息，并能够监控和展现这些应用性能指标

运维安全分析

发现用户访问的异常行为和潜在的风险

关联系统、应用、网络等多种日志、追踪非法访问的来源

检测网络异常和应用运行情况

日志集中管理

数据冗余保障数据安全

便于随时查询

灵活的日志采集方式

海量日志集中存放