您的位置:首页 > 编程语言 > Lua

NiFi Processors之EvaluateJsonPath

2020-06-03 05:51 531 查看

NiFi是一个数据处理和分发系统,其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作,并提交该工作或回滚。

本文介绍NiFi处理器之一 :EvaluateJsonPath

描述

根据FlowFile的内容评估一个或多个JsonPath表达式。这些表达式的结果将分配给FlowFile属性,或者写入FlowFile本身的内容,具体取决于处理器的配置。

通过添加用户定义的属性输入JsonPaths; 属性名称映射到将放置结果的Attribute Name(如果Destination是flowfile-attribute;否则,将忽略属性名称)。该属性的值必须是有效的JsonPath表达式。

属性

这里只介绍我使用过的配置:

名称 默认值 允许值 描述 提示
Destination flowfile-content flowfile-content
flowfile-attribute
指示JsonPath评估的结果是写入FlowFile内容还是FlowFile属性; 如果使用属性,则必须指定“属性名称”属性。如果设置为flowfile-content,则只能指定一个JsonPath,并忽略属性名称。 我感觉使用’flowfile-attribute’比较方便
Return Type auto-detect auto-detect
json
scalar
指示期望返回的JSON Path的类型。选择’auto-detect’,将为’flowfile-content’返回’json’,为’flowfile-attribute’返回’scalar’。 一般使用默认值

动态属性

动态属性允许用户指定属性名和属性值。

如果Destination设置为’flowfile-attribute’,这里的动态属性才有用,否则,动态属性将被忽略。

Name Value
一个FlowFile的属性 一个JsonPath表达式

使用说明

对于这个处理器,关键属性是Destination,我还没用过flowfile-content,先不说,下面聊聊flowfile-attribute的用法。

使用flowfile-attribute这个属性值,关键是添加FlowFile的动态属性。

场景:

接收的flowfile内容是json字符串:

{
"name":"xingweidong",
"age":1000,
"msg":"Hello world!"
}

额外添加的属性:

Name Value
name $.name
age $.age
msg $.msg

下游处理器可以使用ReplaceText,用来接收上面自定义的参数,这里使用ReplaceText处理器拼接SQL语句,这也是常见用法,配置如下:

Name Value
Replacement Value
INSERT INTO msg VALUES('${'name'}','${'age'}','${'msg'}')

这里注意,作为Value的SQL语句没有分号(😉。

ReplaceText处理器的下游可使用PutSQL处理器,PutSQL处理器用来执行SQL语句。

本文主要介绍EvaluateJsonPath处理器,对于ReplaceText处理器和PutSQL处理器不做过多说明。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: