用Kibana和logstash快速搭建实时日志查询、收集与分析系统

tash.net/docs/1.1.0/plugin-status  {"timestamp":"2013-03-19T19:45:35.853000 -0700","message":"Using beta plugin 'redis'. For more information about plugin statuses, see http://logstash.net/docs/1.1.0/plugin-status ","level":"info"}

只要没有 warning 和 error就算是正常启动了

启动之前请确定 192.168.233.130的 redis服务器已经启动，不然会报错

下面登录到 192.168.233.130 上看看 redis服务的状态

[192.168.233.130 root@nodea:/data/redis/etc] 
# lsof -i:6379 
COMMAND    PID USER   FD   TYPE DEVICE SIZE NODE NAME 
redis-ser 2732 root    4u  IPv4   7946       TCP *:6379 (LISTEN) 
redis-ser 2732 root    5u  IPv4   7963       TCP localhost.localdomain:6379->localhost.localdomain:19214 (ESTABLISHED) 
java      2733 root    9u  IPv4   7959       TCP localhost.localdomain:19214->localhost.localdomain:6379 (ESTABLISHED) 
状态正常，端口处于监听状态，我用的是最简单的 配置， 
[192.168.233.130 root@nodea:/data/redis/etc] 
# vim redis.conf 
#this is the config file for redis 
pidfile /var/run/redis.pid 
port 6379 
timeout 0 
loglevel verbose 
logfile /data/redis/log/redis.log 
dbfilename dump.rdb 
dir /data/redis/db/ 
vm-swap-file /tmp/redis.swap 
activerehashing yes 
启动命令如下 
[192.168.233.130 root@nodea:/data/redis/etc] 
# redis-server /data/redis/etc/redis.conf &

下载安装就比较简单了

[192.168.233.130 root@nodea:/soft] 
# wget http://redis.googlecode.com/files/redis-2.4.14.tar.gz 
[192.168.233.130 root@nodea:/data/redis/etc] 
# make –j24 
[192.168.233.130 root@nodea:/data/redis/etc] 
# make install

配置文件里的那几个路径要提前建好

最后我们回到 logstash agent 上面测试一下

[192.168.233.129 root@noded:/soft] 
# echo GET12313 >> apache.log 
[192.168.233.129 root@noded:/soft] 
# echo errorabcd >> apache.log

ok 到 http://192.168.233.128:9292 去搜索一下 刚才的两个内容









嗯，就是这样了，我现在找个php的错误日志给他追加到php.log文件里

[192.168.233.129 root@noded:/soft]

# cat php-error.log >> php.log

在看看 logstash的页面 搜索一下 error





OK，最后就是 Kibana了 ，我把Kibana装在了 logstash index上面

下载地址为 http://kibana.org/intro.html

[192.168.233.128 root@nodec:/soft] 
# tar xf Kibana-0.2.0.tar.gz 
[192.168.233.128 root@nodec:/soft] 
# cd Kibana-0.2.0 
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0] 
# bundle install 
直接安装就好了，非常简单，因为之前咱们已经安装好了 bundle 
编辑配置文件，指定 elasticsearch 的位置 
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0] 
# vim KibanaConfig.rb 
..... 
  Elasticsearch = "localhost:9200" 
  KibanaPort = 5601 
  KibanaHost = '0.0.0.0' 
..... 
主要是这几个参数 
启动的话需要ruby 
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0] 
# /usr/bin/ruby kibana.rb & 
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0] 
# == Sinatra/1.3.5 has taken the stage on 5601 for development with backup from Thin 
>> Thin web server (v1.5.0 codename Knife) 
>> Maximum connections set to 1024 
>> Listening on 0.0.0.0:5601, CTRL+C to stop 
如果ruby的东西都不缺的话，启动会很顺利，ok 现在看看5601端口的状态 
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0] 
# lsof -i:5601 
COMMAND  PID USER   FD   TYPE DEVICE SIZE NODE NAME 
ruby    3116 root    5u  IPv4  28947       TCP *:esmagent (LISTEN)

访问一下 试试看 http://192.168.233.128:5601 尝试搜索一下php的错误日志，比如mysql





呵呵，要的就是这个效果，日志会实时的汇总到 logstash index 上供我们查询，当然这只是开始使用logstash的第一步而已，更多的高级功能可以看看官方文档
http://logstash.net/docs/1.1.9/
如果有问题大家可以一起探讨，我也是刚开始接触这个东东，收集日志是相当方便啊，据说还能跟nagios结合. 呵呵

本文出自 “story的天空” 博客，请务必保留此出处http://storysky.blog.51cto.com/628458/1158707