Flink源码阅读之Watermark对齐

最新推荐文章于 2024-11-18 22:21:36 发布

优优我心

最新推荐文章于 2024-11-18 22:21:36 发布

阅读量906

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Flink源码阅读系列文章标签： flink

本文链接：https://blog.csdn.net/weixin_41608066/article/details/106301975

本文深入探讨Flink中watermark的产生、流转及处理，重点解析watermark对齐的逻辑，包括在StreamTaskNetworkInput#processElement方法中的处理，以及InputChannelStatus如何维护channel状态和watermark对齐条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

watermark的产生

我们知道watermark的生成有两种方式：
1.在sourceFunction中通过emitWatermark方法生成
2.通过assignTimestampsAndWatermarks抽取timestamp并生成watermark

watermark的流转

watermark会像普通的element和stream status一样随着stream流不断的向下游流转

watermark的处理

前面文章写过job的执行过程，描述了数据怎么被处理的，所有流数据被封装成StreamElement对象，其有4个子类

本文主要讨论waterm对齐的过程
具体处理逻辑在StreamTaskNetworkInput#processElement方法中

private void processElement(StreamElement recordOrMark, DataOutput<T> output) throws Exception {
		if (recordOrMark.isRecord()){
			output.emitRecord(recordOrMark.asRecord());
		} else if (recordOrMark.isWatermark()) {
                        //处理watermark
			statusWatermarkValve.inputWatermark(recordOrMark.asWatermark(), last