Flink学习笔记 --- WaterMark机制 and low WaterMark 保序机制
2017-06-20 19:07
1061 查看
首先是张 Flink技术栈的图:
然后然后解释一下如何在高性能的情况下对数据进行保序操作处理:
如下图所示:
当数据从kafka进入Flink中,数据有序,再经过map处理后,根据本地的时间生成
Window,然后启动WaterMark机制,其中的时间叫做Ingestion Time, 从当前时间点开始产生WaterMark。
从当前时间点开始,后来的事件没有比当前事件的EventTime更小的了,它就称之为“Watermark”。
将小于Ingestion Time,上图是w(33),显示小于33的数据放入window。
如果后续还有流程,WaterMark的Ingestion Time继续向后传递。
然后然后解释一下如何在高性能的情况下对数据进行保序操作处理:
如下图所示:
当数据从kafka进入Flink中,数据有序,再经过map处理后,根据本地的时间生成
Window,然后启动WaterMark机制,其中的时间叫做Ingestion Time, 从当前时间点开始产生WaterMark。
从当前时间点开始,后来的事件没有比当前事件的EventTime更小的了,它就称之为“Watermark”。
将小于Ingestion Time,上图是w(33),显示小于33的数据放入window。
如果后续还有流程,WaterMark的Ingestion Time继续向后传递。
相关文章推荐
- AjaxToolKit学习笔记 之 TextBoxWatermark
- Flink学习笔记 --- Flink中Windows机制
- Attention and Memory in Deep Learning and NLP(深度学习和NLP中的注意和记忆机制) 阅读笔记
- Flink WaterMark机制白话分析
- [flash and php bible 学习笔记] 理解 flash 的 sandbox 安全机制
- Pro visual c++/cli and .net 2.0 platform2 学习笔记(4 本书简介)
- Pro visual c++/cli and .net 2.0 platform2 学习笔记(9第三章 面向对象的C++/CLI==2)
- 学习笔记-PPP and PPPoE基本概念
- Java核心思想学习笔记002(Static Fields and Methods)
- PHP and Web Services 学习笔记
- Java 学习笔记 (9) - Java 事件机制 内部匿名类的应用
- EJB3 and Hibernate Annotations 学习笔记(一)
- Pro visual c++/cli and .net 2.0 platform2 学习笔记(11 第五章到第八章 )
- python(异常处理机制,学习笔记摘要)
- Java 学习笔记 (13) - 基本内存分析 和 垃圾回收机制
- HOOK钩子机制学习笔记(1)
- Pro visual c++/cli and .net 2.0 platform2 学习笔记(7第二章 C++/CLI基础=2)
- WTL 学习笔记 -- Property Sheets and Wizards
- 扬扬的J2EE学习笔记(三)Components and Roles组件和角色
- VxWorks 学习笔记-IO and File System