您的位置:首页 > 其它

Flink学习笔记 --- WaterMark机制 and low WaterMark 保序机制

2017-06-20 19:07 1061 查看
首先是张 Flink技术栈的图:



然后然后解释一下如何在高性能的情况下对数据进行保序操作处理:

如下图所示:



当数据从kafka进入Flink中,数据有序,再经过map处理后,根据本地的时间生成

Window,然后启动WaterMark机制,其中的时间叫做Ingestion Time, 从当前时间点开始产生WaterMark。

从当前时间点开始,后来的事件没有比当前事件的EventTime更小的了,它就称之为“Watermark”。

将小于Ingestion Time,上图是w(33),显示小于33的数据放入window。

如果后续还有流程,WaterMark的Ingestion Time继续向后传递。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: