zipkin+elk微服务日志收集分析系统
docker安装elk日志分析系统
在win10上安装docker环境
tip:win7/8
win7、win8 系统 win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/
win10
现在 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V。
程序和功能->启用或关闭Windows功能->选中Hyper-V
1、安装 Toolbox
最新版 Toolbox 下载地址: https://www.docker.com/get-docker
点击 Download Desktop and Take a Tutorial,并下载 Windows 的版本,如果你还没有登录,会要求注册登录。
2、运行安装文件
双击下载的 Docker for Windows Installer 安装文件,一路 Next,点击 Finish 完成安装。
安装完成
Docker 会自动启动。通知栏上会出现个小鲸鱼的图标 ,这表示 Docker 正在运行。
我们可以在命令行执行 docker version 来查看版本号,docker run hello-world 来载入测试镜像测试。
如果没启动,你可以在 Windows 搜索 Docker 来启动。
镜像加速
鉴于国内网络问题,后续拉取 Docker 镜像十分缓慢,我们可以需要配置加速器来解决,我使用的是网易的镜像地址:http://hub-mirror.c.163.com。
- Win10可以点击docker图标在Settings中的Daemon来配置。
- 新版的 Docker 使用 /etc/docker/daemon.json(Linux) 或者 %programdata%\docker\config\daemon.json(Windows) 来配置 Daemon。
请在该配置文件中加入(没有该文件的话,请先建一个):
{ "registry-mirrors": ["http://hub-mirror.c.163.com"] }
安装elk
打开cmd\powershell,输入docker命令:
docker run --ulimit nofile=65536:65536 -p 5601:5601 -p 9200:9200 -p 5044:5044 -p 5045:5045 -p 5046:5046 -d --restart=always --name elk sebp/elk
下载完会自动启动,现在需要修改logstash配置:
docker exec -it elk /bin/bash #进入容器 cd etc/logstash/conf.d/ vim 02-beats-input.conf #修改input配置 --------------------------------------------覆盖 input { tcp { port => 5044 codec => json_lines } } output{ elasticsearch { hosts => ["localhost:9200"] } }
退出容器,重启elk
docker restart elk
访问localhost:5601可以进入kibana界面
Zipkin
需要安装zipkin最新版本,最新版可以前往zipkin的github进行获取
Maven仓库链接:https://search.maven.org/remote_content?g=io.zipkin&a=zipkin-server&v=LATEST&c=exec
下载jar包,运行
下载jar包(版本可能会变),在jar的目录下执行命令:
java -jar zipkin-server-2.16.2-exec.jar --STORAGE_TYPE=elasticsearch --DES_HOSTS=http://ip:9200(若在本机,可以使用localhost) --STORAGE_TYPE 指明数据服务 --DES_HOSTS 指明地址
附录
pom.xml依赖:
<dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>5.2</version> </dependency>
logback.xml配置:
<?xml version="1.0" encoding="UTF-8"?> <!--该日志将日志级别不同的log信息保存到不同的文件中 --> <configuration> <include resource="org/springframework/boot/logging/logback/defaults.xml" /> <springProperty scope="context" name="springAppName" source="spring.application.name" /> <!-- 日志在工程中的输出位置 --> <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}" /> <!-- 控制台的日志输出样式 --> <property name="CONSOLE_LOG_PATTERN" value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" /> <!-- 控制台输出 --> <appender name="console" class="ch.qos.logback.core.ConsoleAppender"> <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> <level>INFO</level> </filter> <!-- 日志输出编码 --> <encoder> <pattern>${CONSOLE_LOG_PATTERN}</pattern> <charset>utf8</charset> </encoder> </appender> <!-- 为logstash输出的JSON格式的Appender --> <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>127.0.0.1:5044</destination> <!-- 日志输出编码 --> <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder"> <providers> <timestamp> <timeZone>UTC</timeZone> </timestamp> <pattern> <pattern> { "severity": "%level", "service": "${springAppName:-}", "trace": "%X{X-B3-TraceId:-}", "span": "%X{X-B3-SpanId:-}", "exportable": "%X{X-Span-Export:-}", "pid": "${PID:-}", "thread": "%thread", "class": "%logger{40}", "rest": "%message" } </pattern> </pattern> </providers> </encoder> </appender> <!-- 日志输出级别 --> <root level="INFO"> <appender-ref ref="console" /> <appender-ref ref="logstash" /> </root> </configuration>
来自blog.koreyoshi.work
- 微服务下,使用ELK做日志收集及分析
- ELK之日志查询、收集与分析系统
- ELK学习2_用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- Linux――ELK(Elasticsearch + Logstash + Kibana)企业日志分析之linux系统history收集展示
- ELK学习2_用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- 用ELK搭建简单的日志收集分析系统【转】
- ELK(一)ELK日志收集分析系统环境搭建
- ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系统
- ELK搭建简单的日志收集分析系统
- 用ELK搭建简单的日志收集分析系统
- ELK日志收集分析系统配置
- 开源日志分析系统ELK平台搭建部署
- 创业公司做数据分析(四)ELK日志系统 (转)
- 企业日志分析之linux系统message收集展示
- 【7. 日志分析模块】云跳板机服务系统设计及实现
- linux学习入门 基础部分(9)[1.系统日志默认分类2.日志管理服务rsyslog3.日志分析工具journa4.时间同步5.timedatectl命令]
- ELK 日志分析系统
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
- ELK日志系统之使用Rsyslog快速方便的收集Nginx日志
- 用Kibana和logstash快速搭建实时日志查询、收集与分析系统