您的位置:首页 > 运维架构 > Shell

windows10上搭建ELK实践

2020-03-08 02:22 495 查看

精选30+云产品,助力企业轻松上云!>>>

前言

初次接触ELK还是在第一家外包公司的时候了,当时项目整体也是乱的不行,突然有一天驻留我们项目组的架构师给我们发了一个链接地址,告诉我们可以在这上面查看生产的日志信息。当时也是觉得牛逼的不行。后来换了一家公司,也接触多了通过ELK查看日志,排查问题。想着周末,自己在电脑上搞一搞如何搭建实现。

本文重在如何在本机上实践,具体的日志系统如何如何重要,本文不做背景阐述。 ELK其实就是ElasticSearch、Logstash和Kiabana组成,

  • ElasticSearch是一个开源分布式搜索引擎,分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等
  • Logstash是一个完全开源的工具,可以对日志进行收集、分析、并将其存储供以后使用
  • kibana也是一个开源和免费的工具,它可以为Logstash和ES提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜索重要数据日志

我们即将做的就是安装并启动这三个软件。

一、下载安装包

官网下载地址 到官网下载这三个压缩包,目前最新版本是7.6.1

启动这三个软件需要的是java环境,所以提前配好jdk

二、安装启动ElasticSearch

解压安装包,得到目录

打开config下的elasticsearch.yml文件,修改配置为

# 监听地址和端口
network.host: 127.0.0.1
http.port: 9200
# 跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

启动ElasticSearch

两种方法: 1、进入E:\ELK\elasticsearch-7.6.1\bin 直接双击elasticsearch.ba 2、打开Windows PowerShell 进入E:\ELK\elasticsearch-7.6.1\bin 执行.\elasticsearch.bat或者.\elasticsearch 执行完成如图

打开浏览器,访问http://localhost:9200/ 出现下图即启动成功

安装elasticsearch-head插件(这是elasticsearch的一个web端管理插件,没有兴趣可以略过)

下载地址https://github.com/mobz/elasticsearch-head 如果感兴趣源码,可以用webstorm把项目Clone下来,也可以直接zip包 反正我是用IDE来整的 有仪式感 这是一个前端项目,我们需要安装node环境 利用node安装grunt插件

npm install -g grunt-cli

配置elasticsearch-head

在Gruntfile.js里可以配置插件启动后监听的端口

配置elasticsearch地址(默认就是监听本地的9200)

然后对项目进行初始化依赖

npm install

开始启动插件 在Terminal执行grunt server或者npm run start 执行成功如下图

打开浏览器 访问http://localhost:9100/ 如下图即插件启动成功

三、安装启动Logstash

解压安装包 得到如下目录

进入E:\ELK\logstash-7.6.1\config 新建配置文件logstash.conf 修改内容如下

input {
file {
type => "nginx_access"
path => "E:/ELK/logs/logstash.log"
}
}
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "access-%{+YYYY.MM.dd}"
}
stdout {
codec => json_lines
}
}

启动Logstash 打开Windows PowerShell 进入E:\ELK\logstash-7.6.1\bin 执行.

.\logstash.bat -f ../config/logstash.conf

启动成功如下图

四、安装启动Kibana

解压安装包 得到目录

进入config下的kibana.yml 修改配置为

# 本机的端口
server.port: 5601
# 本机IP地址
server.host: "127.0.0.1"
# ES的服务IP+端口
elasticsearch.hosts: ["http://localhost:9200"]

启动kibana 打开Windows PowerShell 进入E:\ELK\kibana-7.6.1-windows-x86_64\bin 执行

.\kibana.bat

启动成功如下图

打开浏览器 访问http://localhost:5601/ 如下图即启动成功

五、基于项目日志输出到Kibana查询

配置项目的logback日志输出地址为刚才logstash目录下logstash.conf里的配置地址E:\ELK\logs\logstash.log

启动项目 启动完成后 会在E:\ELK\logs\目录下生成一个日志文件

同时刷新观察elasticsearch-head页面 出现如下图新增access-2020.03.07

在Kibna配置索引

配置完回到Discover页面选择access-*

调用项目接口 刷新可查询到日志

今天就先到这了,改天再跟大家分享Kibna的那些玩法

参考资料 https://www.cnblogs.com/taoweizhong/p/10462194.html 持续更新中

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息