ELK(elasticsearch+logstash+kibana) 日志分析

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的 syslog ，将所有服务器上的日志收集汇总。

处理理日志是运维工作必不可少的一环。但是在规模化场景下，grep、awk 无法快速发挥作用，Hadoop 又更偏向于固定模式的离线统计。我们需要一种高效、灵活的日志分析方式，可以给故障处理，根源定位提供秒级的响应。基于全文搜索引擎 Lucene 构建的 ELKstack 平台，是目前开源界最接近该目标的实现。

       Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。
Logstash：负责日志的收集，处理和储存
Elasticsearch：负责日志检索和分析
Kibana：负责日志的可视化

ELK 使用场景介绍

日志其实是运维工程师打交道很多很多的一个东西了。一般来说，日志有三个用途：
找问题，以数据为数据导向。
做监控
安全审计

     目前Splunk是这个大数据分析领域的一枝独秀，上市到现在都已经百亿美元市值了。不过 Splunk 很贵，每GB高达4500美元。ELK 就是在这种场景下，用来替代 Splunk 的开源产品。

     ELK stack是以Elasticsearch,Logstash,Kibana三个开源软件为主的数据处理工具链，三者通常是配合使用，而且又先后归于Elastic.co公司名下。

     ELK stack 具有如下几个优点:

     1.处理方式灵活。Elasticsearch是实时全文索引，不需要像Storm那样预先编程才能使用。

     2.配置简易上手。Elasticsearch全部采用JSON接口，Logstash是Ruby DSL设计。

     3.检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到百亿级数据查询的秒级响应。

     4.集群线性扩展。不管是Elasticsearch集群还是Logstash集群都是可以线性扩展的。 

     5.前端操作可视化便利。鼠标点击搜索即可完成搜索，聚合，生成仪表盘。