您的位置:首页 > 其它

ElasticSearch数组对象,以及Kibana相关操作

2017-12-22 16:55 603 查看

ES数组对象,以及Kibana相关操作

好久未写过博客,一晃就年底。

前两天需求是在Kibana里生成曲线,关键是数据类型是数组对象。稍微走了写歪路,下面从数据类型开始说起。

数据

mapping:

data: {
properties: {
data_value: {
type: "long"
},
index: {
type: "long"
},
}
}


示例

//example1:
{data: [{index: 0, data_value: 200}, {index: 1, data_value: 300}]}

//example2:
{data: [{index: 0, data_value: 200}]}


即data为数组对象,每次含有的index的有可能是多个,有可能是1个。

数组对象在es中的存储

//example1:
{
data: {
index: [0, 1],
data_value: [200, 300],
}
}


在ElasticSearch中对数组对象的访问可通过data.index,data.data_value的形式进行。示例中example1的存储如上所示,0和200,1和300之间的关系其实就不再存在了。

当时我的需求是,需要对index进行分桶,针对每个index,求出metric。如在index=0的桶里,求data.data_value的max,桶里边只有example1和example2的数据,理想中的max应该是200,但求出来发现是300…问题就在存储上,data.data_value在存储上其实是[200, 300],与index=0还是1一点关系都没有..

如果非要实现对index=0下求data_value的max呢?

Scripted Fields

当时需求是在Kibana上实现,故以下皆以Kibana作例,若是单纯的写ES的查询或聚合语句,可直接参考script内容。

How to create Kibana Script Fields

在ES中支持查询返回一个script value,即在查询时就进行相应的script计算。elasticsearch script fields starting.

既然是script,自然就灵活很多,可以通过添加新的字段,将上面的数组对象中的值转换为key-value格式的,那么在聚合统计操作中选择对应的key即可。

具体操作为,在Kibana中选择Management中的Index Patterns,选中对应index,选择Scripted field,新建一个(Add Scripted Field)。Name填入如data_index_0,Language选择painless,Type选择为number。script内容为

if(params['_source']['data'] != null) {
for(def item : params['_source']['data']) {
if(item.index == 0)
return item.data_value;
}
}
return null;


最后选择创建字段即可,在Discover页面中即可看到每条数据中都增加了data_index_0,其值为index=0时对应的data_value。这样就将对象数组中的数据搬出来以key-value的方式存在了。另外,官方在介绍Scripted Fields时说明尽量不要使用_source字段,会使搜索变慢,以后在使用的过程中最好还是使用doc。如获得data.index的方式为doc[‘data.index’].values,返回值为List。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息