Elasticsearch数据建模最佳实践

建模建议一：处理关联关系

• Object：优先考虑Denormalization
• Nested：当数据包含多数值对象(1:n)，同时有查询需求
• Parent/Child：关联文档更新非常频繁

PS：Kibana暂时不支持Nested类型和Parent/Child类型，如果需要使用Kibana进行数据分析则需要作出取舍

建模建议二：避免过多字段

• 字段过多不易维护，mappings信息保存在Cluster state中，数据量过大对集群性能可能会有影响(Cluster
  State需要在所有节点间同步)
• 默认最大字段数是1000，可以设置index.mapping.total_fields.limt限定最大字段数
• 使用 Nested 对象解决动态加入新字段导致mappings不断膨胀

PS：通过Nested对象保存key/value的一些不足：可以减少字段数量，解决cluster state中保存过多meta信息的问题，但是会导致查询语句复杂度增加，Nested对象不利于在Kibana中实现可视化分析

建模建议三：避免正则查询

• 正则、通配符查询、前缀查询属于Term查询，但是性能不够好，特别是将通配符放在开头

PS：解决方法：将字符串转换为对象

建模建议四：避免空值引起的聚合不准

PS：解决方法：将空值设置个默认值（null_value）

建模建议五：为索引的mappings加入meta信息

• mappings设置非常重要，需要从两个维度进行考虑：功能（搜索、排序、聚合）；性能（存储的开销，内存的开销，搜索的性能）
• Mappings设置是一个迭代的过程：加入新的字段很容易（必要时需要update_by_query）；更新删除字段不允许（需要reindex重建数据）；最好能对mappings加入meta信息，更好的进行版本管理

PS：建议将mappings文件上传git进行管理

• 点赞 1
• 收藏
• 分享
• 文章举报