Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

前言：

随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条（2TB）日志。哈哈
以上都是新浪的信息~不是我们小公司的分析业务规模。

当然为了使得运行在客户端的软件有良好的体验，并且得到有用的数据，我们需要对这些系统产生的数据，进行统计和分析，这个过程通常包括数据采集，清洗，建模，分析，报表等。接下来在本篇文章中，将会构建一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统。

平台架构：



nginx作为前端服务器 生成业日志，logstash实时的从业务日志中数据数据（可以进行响应的过滤，一个Logstash进程可以有多个输入源，所以一个Logstash进程可以应付一台服务器上的所有日志），然后把数据输入到redis中，redis只做消息队列不对消息做处理和存储(Redis是Logstash官方推荐的Broker角色“人选”，支持订阅发布和队列两种数据传输模式)，然后redis会把数据转给elasticSearch(同时可以对错误信息进行过滤
发送邮件提醒)，elasticSearch会对数据做存储，索引（基于Lunce），再kibana中建立对elasticSearch的链接，实时的抓取索索引后的数据，这样数据就可以实时的进行展示，通过一些数据组装，查询条件，得到我们想要的结果（可以通过各种方式例如图表，表格，折线图等显示）

效果展示：



再看一下以前我们是如何查看日志的：

线上日志逐个tail+grep

编写脚本，下载某个时间范围内的全部日志到本地再搜索

tail+grep或者把日志下载下来再搜索，可以应付不多的主机和不多的应用部署场景。但对于多机多应用部署就不合适了。这里的多机多应用指的是同一种应用被部署到几台服务器上，每台服务器上又部署着不同的多个应用。可以想象，这种场景下，为了监控或者搜索某段日志，需要登陆多台服务器，执行多个tail
-F和grep命令。一方面这很被动。另一方面，效率非常低，数次操作下来，你心情也会变糟。是不是看的眼花料哦乱~



系统版本 阿里云 centos 6.5 64位

软件版本 (版本更新频繁并且各个软件之间兼容性有问题，主要是elk之间的，经测试一下版本可以使用)

logstash-2.1.1，elasticsearch-2.1.0，redis-2.8.4，kibana-4.3.1-linux-x64

一、安装logstash

linux下 直接 wget https://download.elastic.co/logs ... gstash-2.1.1.tar.gz

然后解压 tar -zxvf logstash-2.1.1.tar.gz 即可。

二、安装elasticsearch

linux下安装elasticsearch ：http://www.52itstyle.com/thread-20114-1-1.html

三、安装 redis

linux下redis安装和使用：http://www.52itstyle.com/thread-20084-1-1.html

四、安装kibana

linux下安装kibana：http://www.52itstyle.com/thread-20127-1-1.html

以上软件 启动方式见链接。

这里主要说一下 如何收集Tomcat异常日志：

一、比如我们的日志 放在tomcat/log目录下 异常日志格式为

52itstyle_error.2016-03-01.txt #异常信息

二、编写logstash shipper 收集日志信息

input {

file {

type => "tomcat_itstyle"

tags => [ "tomcat_error", "log4j" ]

path => "/tomcat7/log/*error*.txt"

}

}

filter {

if [type] == "tomcat_itstyle" {

grok {

match => {

"message" => "(?m)%{TIMESTAMP_ISO8601:logtime}"

}

}

multiline {

pattern => "^[^\[]"

what => "previous"

}

mutate {

split => ["message", "|"]

}

}

}

output {

stdout {

codec => rubydebug

}

redis {

host => "127.0.0.1"

port => 6379

data_type => "list"

key => "logstash-tomcat-error"

password => "123456"

db => 0

}

}</font>

复制代码
二、编写logstash indexer整理日志信息

<font size="3">input {

redis {

host => "127.0.0.1"

port => 6379

data_type => "list"

key => "logstash-tomcat-error"

type => "redis-input"

password => "123456"

db => 0

}

}

output {

elasticsearch {

hosts => ["127.0.0.1:9200"]

}

exec {

#发送错误日志 到指定邮件

command => "echo '%{@timestamp} %{type}: %{message}' | mail -s tomcat_error_message 345849402@qq.com"

}

}</font>

复制代码
分别启动 indexer 和 shipper

切换到 logstash/bin 下执行一下命令

./logstash -f indexer.conf &

./logstash -f shipper .conf &