logstash+elasticsearch+kibana快速搭建日志平台
2015-11-11 15:34
155 查看
目录
一、 简介
二、 logstash
三、 elasticsearch
四、 kibana
• 根据关键字查询日志详情
• 监控系统的运行状况
• 统计分析,比如接口的调用次数、执行时间、成功率等
• 异常数据自动触发消息通知
• 基于日志的数据挖掘
很多团队在日志方面可能遇到的一些问题有:
• 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力
• 日志数据分散在多个系统,难以查找
• 日志数据量大,查询速度慢
• 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据
• 数据不够实时
最常见的需求就是收集、查询、显示,正对应logstash、elasticsearch、kibana的功能。
elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具。
比如我这里下载的一套是logstash 2.0.0 + elasticsearch 2.0.0 + kibana 4.2.0
inputs >> codecs >> filters >> outputs
解压到目录/Users/duwei/software/elk/logstash-2.0.0
tar xzvf logstash-2.0.0.tar.gz
在bin目录中添加logstash.conf
2)添加logstashIndex.conf(从redis队列中取数据放入elasticsearch)
在bin目录中添加logstashIndex.conf
2)启动第二个进程
• real time
• distributed
• high availability
• document oriented
• schema free
• restful api
解压到目录/Users/duwei/software/elk/elasticsearch-2.0.0
查看页面
测试安装
测试成功
解压到目录/Users/duwei/software/elk/kibana-4.2.0-linux-x64
elasticsearch服务地址
查看页面
一、 简介
二、 logstash
三、 elasticsearch
四、 kibana
一、 简介
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有:• 根据关键字查询日志详情
• 监控系统的运行状况
• 统计分析,比如接口的调用次数、执行时间、成功率等
• 异常数据自动触发消息通知
• 基于日志的数据挖掘
很多团队在日志方面可能遇到的一些问题有:
• 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力
• 日志数据分散在多个系统,难以查找
• 日志数据量大,查询速度慢
• 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据
• 数据不够实时
最常见的需求就是收集、查询、显示,正对应logstash、elasticsearch、kibana的功能。
elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具。
比如我这里下载的一套是logstash 2.0.0 + elasticsearch 2.0.0 + kibana 4.2.0
二、 logstash
logstash部署简单,下载压缩包,就是一个 pipelineinputs >> codecs >> filters >> outputs
1.下载logstash-2.0.0.tar.gz解压
https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz解压到目录/Users/duwei/software/elk/logstash-2.0.0
tar xzvf logstash-2.0.0.tar.gz
2.添加2个配置文件
1). 添加logstash.conf(采集日志输出到redis中)在bin目录中添加logstash.conf
input{ file{#path要采集日志路径 type => "budgetpull" path => ["/*/logs/bugetpulljob/budgetpull/*","/*/logs/bugetpulljob/redis/*"] start_position => "beginning" } file{ type => "duedate" path => ["/*/logs/duedatejob/*"] start_position => "beginning" } } filter { grok {#配匹字段message中的内容被筛选。(以下是标准正规表达式) match => { "message" => "^\d+-\d+\s\d+:\d+:\d+\.\d.*" } } output{ redis{#以下是redis安装地址 host => "128.31.5.196" data_type => "list" #接收数据以列表形式 key => "logstash:redis" #队列的名称 } }
2)添加logstashIndex.conf(从redis队列中取数据放入elasticsearch)
在bin目录中添加logstashIndex.conf
input { redis{ host => "128.31.5.196" data_type => "list" key => "logstash:redis"#与logstash.conf中redis相同 type => "redis-input" } } output { elasticsearch { hosts => "localhost"#该elasticsearch就部署在本机 } }
3.运行logstash
1)启动第一个进程./logstash agent -f logstash.conf -l /*/logs/logstash/stdou.log &
2)启动第二个进程
./logstash agent -f logstashIndex.conf -l /*/logs/logstash/stdouIndex.log &
三、 elasticsearch
elasticsearch是基于lucene的开源搜索引擎,近年来发展比较快,主要的特点有• real time
• distributed
• high availability
• document oriented
• schema free
• restful api
1.下载logstash-2.0.0.tar.gz解压
https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.0.0/elasticsearch-2.0.0.tar.gz解压到目录/Users/duwei/software/elk/elasticsearch-2.0.0
tar xzvf elasticsearch -2.0.0.tar.gz
2.安装head插件
cd /Users/duwei/software/elk/elasticsearch-2.0.0/bin ./plugin install mobz/elasticsearch-head
查看页面
http://localhost:9200/_plugin/head/
3.启动elasticsearch
cd /Users/duwei/software/elk/elasticsearch-2.0.0/bin ./elasticsearch &
测试安装
curl -X GET http://localhost:9200/ [root@10.11.5.211 bin]# curl -X GET http://localhost:9200/ { "name" : "Piper", "cluster_name" : "elasticsearch", "version" : { "number" : "2.0.0", "build_hash" : "de54438d6af8f9340d50c5c786151783ce7d6be5", "build_timestamp" : "2015-10-22T08:09:48Z", "build_snapshot" : false, "lucene_version" : "5.2.1" }, "tagline" : "You Know, for Search" }
测试成功
四、 kibana
Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的1.下载kibana-4.2.0-linux-x64.tar.gz解压
https://download.elastic.co/kibana/kibana/kibana-4.2.0-linux-x64.tar.gz解压到目录/Users/duwei/software/elk/kibana-4.2.0-linux-x64
tar xzvf kibana-4.2.0-linux-x64.tar.gz
2.修改配置文件
修改config目录下kibana.yml文件内容elasticsearch服务地址
elasticsearch.url: "http://10.121.6.21:9200"
3.启动kibana
./kibana &
查看页面
http://yourhost.com:5601
相关文章推荐
- Java 多线程(六) synchronized关键字详解
- 当鼠标点击页面其他地方时隐藏某个元素
- 程序员常用的十段代码片段
- margin/padding与块级元素/行内元素的关系
- 查询本周的所有数据
- MongoDB使用过程中的一些问题
- cdh5.4.7 sqoop使用
- DATA GUARD 简介
- 近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)
- hbase安装详解
- service
- android 内置关系型数据库 SQLite
- CSS visibility 属性 元素是否可见
- 网页自适应手机、计算机屏幕的设置方法
- Android 通过solid来定义不同边框的颜色
- Spring AOP编程(XML实现)
- EL表达式 参考手册
- LeetCode(128) Longest Consecutive Sequence
- javac编译的过程
- Android快速SDK(22)友盟升级统计库UmengUpdate【肌肉记忆,分钟接入】