ELK 索引生命周期管理
ELK 索引生命周期管理
前言
之前搭建的 ELK 集群经过几天的日志收集,索引数逐渐增多,服务器的各项内存、cpu、IO 指标开始上涨起来,要解决这个问题,在权衡性能与用户使用,应该做好索引的生命周期管理。
kibana 索引配置
1. 管理索引
点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引
配置 kibana 的索引匹配
配置索引生命周期
点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期
配置索引策略文档地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.1/index-lifecycle-management.html
配置索引的生命周期,折腾了我好几天,这里要仔细记录下:
首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置
需要说明的是并不是每个阶段都是必要配置,这里我的配置参考如下图,
hot 阶段
warm阶段 这里设置的是创建索引 3 天后转移到这一阶段,同时还配置强制合并为 3 个 segments
cold阶段,这里设置的是创建索引 7 天后转移到这一阶段,同时冻结这一索引
delete阶段,这里设置的是创建索引 15 天后转移到这一阶段,同时删除这一索引
点击链接免费在线学习 https://ke.magedu.com
配置好生命周期策略后,我们需要创建一个模板,将我们现在的输入 index 接管过来,然后将策略应用于这个模板,这就达到了,每次创建的 index 都能应用于这一策略
其实最方便的就是将你创建的索引都以 logstash- 开头,默认就包含一个名为 logstash 的模板,如果你不想以 logstash- 开头创建索引,你可以先创建个模板参考如下:
PUT /_template/my_template { "order" : 0, "index_patterns" : [ "prod-*", "stage-*", "dev-*" ], "settings" : { "index" : { "number_of_shards" : "1", "refresh_interval" : "5s" } }, "mappings" : { "dynamic_templates" : [ { "message_field" : { "path_match" : "message", "mapping" : { "norms" : false, "type" : "text" }, "match_mapping_type" : "string" } }, { "string_fields" : { "mapping" : { "norms" : false, "type" : "text", "fields" : { "keyword" : { "ignore_above" : 256, "type" : "keyword" } } }, "match_mapping_type" : "string", "match" : "*" } } ], "properties" : { "@timestamp" : { "type" : "date" }, "geoip" : { "dynamic" : true, "properties" : { "ip" : { "type" : "ip" }, "latitude" : { "type" : "half_float" }, "location" : { "type" : "geo_point" }, "longitude" : { "type" : "half_float" } } }, "@version" : { "type" : "keyword" } } }, "aliases" : { } }
以上的模板接管了 prod- stage- dev-* 开头的 index,然后将策略应用于这些 index
现在我们就可以在 index management 里查看索引当前的生命周期状态
总结
虽然按照这个流程下来,能达到我们的预期效果。但其中还有很多的东西是需要更多的时间去理解的。比如:shard、segments、这些该怎么分配,怎么去优化。
点击链接免费在线学习 https://ke.magedu.com
- 干货 | Elasticsearch索引生命周期管理探索
- Spring实现bean生命周期管理
- [原创]我所理解的Remoting(2):远程对象生命周期的管理—Part I
- SQL Server索引管理之六大铁律
- SQL Server索引管理之六大铁律
- Managing the Activity Lifecycle 管理活动的生命周期
- solr6.1-----solrJ 程序管理索引库
- Activity生命周期的管理(序)
- Spring 生命周期管理的缺陷
- 快速搭建ELK集中化日志管理平台
- IBM Rational产品与协作软件生命周期管理
- virsh命令虚拟机生命周期管理以及获取虚拟机ip
- Android官方培训课程学习(二): 管理activity的生命周期
- 安卓训练-开始-管理 Activity 生命周期-停止和重启 Activity
- ELK相关文章索引(1)
- centos7下安装docker(13.3volume生命周期管理)
- ALM(application lifecycle management)应用程序生命周期管理
- Android Training - Activity生命周期的管理
- 跟Google学习Android开发-起始篇-管理活动的生命周期(2)
- 线程安全的对象生命周期管理