logstash日志收集展示与邮件报警

有时候我们需要对一些服务器日志进行分析，并对其中错误的日志进行报警，在这里我们采用logstash来收集这些日志，和采用自己开发的邮件发送系统来发送错误日志数据。

例如我们有几个文件需要监控（BI日志）

我们可以通过配置logstash来收集这些文件日志

input{ file{ path=> "/diskb/bidir/smartbi_prd_*/apache-tomcat-5.5.25_prd_*/logs/catalina.out" start_position=> "beginning" sincedb_path=> "/diskb/logstashlog/log" codec => plain { charset => "GBK" } } } filter { multiline { pattern => "^\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}" negate => true what => "previous" } mutate{ add_field => { "logmessage" => "%{[message]}" } split => ["message"," "] add_field => { "logdate" => "%{[message][0]}" "logtime" => "%{[message][1]}" "logstate" => "%{[message][2]}" } remove_field => ["message"] } if [logdate] !~ /\d{2}-\d{2}/ { drop{} } urldecode { all_fields => true } } output{ #对错误的日志写入到文件中，供邮件发送使用的附件 #其实在这里可以直接使用logstash自带的邮件发送系统，只不过部门要求邮件发送的频率不能 #高于一分钟，故只能采用外部定时发送 if [logstate] =~ /ERROR/ { file { path => "/diskb/bi_error_log/bi_error.log" } } elasticsearch{ hosts => [ "10.130.2.53:9200","10.130.2.46:9200","10.130.2.54:9200" ] flush_size=>50000 workers => 5 index=> "logstash-bi-tomcat-log" } }

通过启动这个conf文件，就可以把全部数据导入ES中，可由kibana展示，具体展示不再赘述；而同时把状态为error的日志导入到一个文本中，供邮件发送系统使用。至此完毕。

下附上：发送邮件脚本

#!/bin/sh #sendmail error log to someone #发送的附件路径 attachement="/diskb/bi_error_log/*.log" if [ ! -f $attachement ];then echo "file is not exist" exit 1 fi #收件人 maillist="zhanglibing@staff.hexun.com" cat > /etc/nail.rc<<EOF set from=bigdata@staff.hexun.com set smtp=60.28.250.158 set smtp-auth-user=bigdata@staff.hexun.com set smtp-auth-password=****** set smtp-auth=login EOF #echo "邮件内容" | /usr/local/mailx-12.4/mailx -v -s "邮件标题" [-a "附件路径"] [-c "密送人mail"] 收件人 echo "Hello, please receive the error log for BI from hexun.bdc." | /usr/local/mailx-12.4/mailx -v -s "[The system sends]" -a $attachement $maillist #发送成功，删除文件 rm -fr $attachement