采用 Logstash 采集 tomcat access 日志和应用程序日志

摘要: Logstash 作为 ELK 中的重要一个部件，负责将各种程序，系统日志采集过滤并输出到 Elasticsearch 中进行检索，本文介绍 Logstash 的安装及用一个示例来展示采用 Logstash 采集 tomcat 的 access 日志和应用程序日志

Logstash 的安装

Logstash 的安装非常简单，直接官网下载对应的版本（需要和 Elasticsearch 的版本匹配）解压缩即可

# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/

# mv logstash-2.3.2/ logstash

测试启动

# cd logstash/

# cd bin/

# ./logstash -e 'input { stdin { } } output { stdout {} }'

采集tomcat的access日志

安装tomcat并且部署示例程序war（spring-mvc-showcase.war），其中示例程序 spring-mvc-showcase.war 可以到 spring mvc 官网下载，启动 tomcat 并且访问示例程序，产生部分日志



启动 Logstash 日志采集

# ./bin/logstash -f ./conf-logstash/access-log.conf # -f 后面指定的是配置文件



查看 Elasticsearch head 插件查看，发现已经自动创建了 tomcat_access index，并且导入了数据





这里详细介绍下 Logstash 的配置文件 /conf-logstash/access-log.conf

其内容如下

input {
file {
path => "/usr/local/tomcat8/logs/localhost_access_log.2016-04-30.txt"
start_position => "beginning"
}
}

filter {
grok {
patterns_dir => "/usr/local/elk/logstash-patterns"
match => {
"message" => "%{ACCESSLOG}"
}
}
}

output {
elasticsearch {
hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
index => "tomcat_access"
}
}

通常 Logstash 的一个配置文件含 input{}，filter{}，output{} 三部分，该三部分的作用也很好理解，一个配置输入源，一个配置过滤规则，一个配置输出；其每个部分又可以配置各种不同的插件，所有插件的说明请参考官网文档的说明

这里配置的 filter grok 插件说明如下

patterns_dir => "/usr/local/elk/logstash-patterns"

指明 grok 插件使用的正则表达式存放的目录，本次实验该目录下存放了一个文件 j2ee，其内容如下

JAVACLASS (?:[a-zA-Z$_][a-zA-Z$_0-9]*\.)*[a-zA-Z$_][a-zA-Z$_0-9]*
#Space is an allowed character to match special cases like 'Native Method' or 'Unknown Source'
JAVAFILE (?:[A-Za-z0-9_. -]+)
#Allow special <init> method
JAVAMETHOD (?:(<init>)|[a-zA-Z$_][a-zA-Z$_0-9]*)
#Line number is optional in special cases 'Native method' or 'Unknown source'
JAVASTACKTRACEPART %{SPACE}at %{JAVACLASS:class}\.%{JAVAMETHOD:method}\(%{JAVAFILE:file}(?::%{NUMBER:line})?\)
# Java Logs
JAVATHREAD (?:[A-Z]{2}-Processor[\d]+)
JAVACLASS (?:[a-zA-Z0-9-]+\.)+[A-Za-z0-9$]+
JAVAFILE (?:[A-Za-z0-9_.-]+)
JAVASTACKTRACEPART at %{JAVACLASS:class}\.%{WORD:method}\(%{JAVAFILE:file}:%{NUMBER:line}\)
JAVALOGMESSAGE (.*)
# MMM dd, yyyy HH:mm:ss eg: Jan 9, 2014 7:13:13 AM
CATALINA_DATESTAMP %{MONTH} %{MONTHDAY}, 20%{YEAR} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) (?:AM|PM)
# yyyy-MM-dd HH:mm:ss,SSS ZZZ eg: 2014-01-09 17:32:25,527 -0800
TOMCAT_DATESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) %{ISO8601_TIMEZONE}
CATALINALOG %{CATALINA_DATESTAMP:timestamp} %{JAVACLASS:class} %{JAVALOGMESSAGE:logmessage}
# 2014-01-09 20:03:28,269 -0800 | ERROR | com.example.service.ExampleService - something compeletely unexpected happened...
TOMCATLOG %{TOMCAT_DATESTAMP:timestamp} \| %{LOGLEVEL:level} \| %{JAVACLASS:class} - %{JAVALOGMESSAGE:logmessage}

# 2016-04-10 07:19:16-|INFO|-Root WebApplicationContext: initialization started
MYTIMESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}
MYLOG %{MYTIMESTAMP:mytimestamp}-\|%{LOGLEVEL:level}\|-%{JAVALOGMESSAGE:logmsg}

ACCESSIP (?:[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})
ACCESSTIMESTAMP %{MONTHDAY}\/%{MONTH}\/20%{YEAR}:%{HOUR}:%{MINUTE}:%{SECOND} %{ISO8601_TIMEZONE}
HTTPMETHOD (GET|POST|PUT|DELETE)
PRJNAME ([^\s]*)
HTTPVERSION (https?\/[0-9]{1}\.[0-9]{1})
STATUSCODE ([0-9]{3})
# 192.168.1.101 - - [10/Apr/2016:08:31:34 +0800] "GET /spring-mvc-showcase HTTP/1.1" 302 -
ACCESSLOG %{ACCESSIP:accIP}\s-\s\-\s\[%{ACCESSTIMESTAMP:accstamp}\]\s"%{HTTPMETHOD:method}\s\/%{PRJNAME:prjName}\s%{JAVALOGMESSAGE:statusCode}

match => {
"message" => "%{ACCESSLOG}"  # 这里使用的 ACCESSLOG 就是在 /usr/local/elk/logstash-patterns 这个目录下的上面这个文件中配置的
}

Logstash 官网提供了很多可以拿来即用的正则表达式，详细请参考 github 项目

https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

采集 tomcat 应用程序日志

# ./bin/logstash -f ./conf-logstash/tomcat-log.conf







conf-logstash/tomcat-log.conf 内容如下

input {
file {
codec => multiline {
pattern => "^\s"
what => "previous"
}
path => "/usr/local/tomcat8/logs/catalina.out"
start_position => "beginning"
}
}

filter {
grok {
patterns_dir => "/usr/local/elk/logstash-patterns"
match => {
"message" => "%{MYLOG}"
}
add_field => [ "log_ip", "192.168.1.81" ]
}

}

output {
elasticsearch {
hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
index => "tomcat"
}
}