Flink / Scala 实战 - 13.TimeWindow 处理迟到数据详解

已于 2022-10-11 14:21:30 修改
阅读量1.5k 收藏 13
点赞数 19
CC 4.0 BY-SA版权
分类专栏： Flink 成长之路 Scala 文章标签： flink AllowedLateness SideOutputLate WMStrategy
于 2022-09-26 10:09:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BIT_666/article/details/127021116
本文深入探讨了Flink在EventTime语境下处理迟到数据的问题，包括TimeWindow丢数据示例，以及处理迟到数据的三种策略：forBoundedOutOfOrderness、Allowed Lateness和SideOutputLateData。通过实例分析了这些策略如何确保数据的准确性，并提供了实战代码以展示如何应用这些策略来处理迟到数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一.引言

二.Flink TimeWindow 丢数据示例

1.代码分析

2.Watermark 生成逻辑

3.丢失数据代码测试

三.Flink 处理迟到数据策略

1.forBoundedOutOfOrderness

2.Allowed Lateness

3.SideOutputLateData

四.Flink 处理迟到数据实战

1.代码分析

2.迟到数据处理实战

3.日志分析

五.总结

一.引言

在事件时间 EventTime 语义环境下，窗口中可能出现数据迟到的情况，即 Event 时间戳小于水位线 Watermark，此时数据流未乱序流，水位线不能保证小于自己的时间戳的 Event 不会到来。这时会出现一种情况，水位线到达窗口触发时间触发窗口计算，而属于该窗口的迟到数据到来，默认情况下该类数据会被丢弃。数据的丢弃会导致窗口的计算结果不准确，因此 Flink 推出了 3 种方法处理迟到数据：

- WatermarkStrategy.forBoundedOutOfOrderness 最大延时

- Allowed Lateness 窗口延迟注销

- SideOutputLateData 侧输出流处理迟到数据

二.Flink TimeWindow 丢数据示例

1.代码分析

在介绍几种处理迟到数据方法之前，先示例一下 Flink 在正常情况下如何丢失数据导致计算不准确。以下 Demo 使用 Event 类作为 DataStream[T] 的数据类型，Event 为用户浏览 URL 的简单信息：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink / Scala - 10.TimeWindow And TimeWindowAll 详解
BITDDD小栈
05-12 1865
Flink 流处理用于处理源源不断的数据，之前介绍过 processFunction，该方法会对单个元素进行处理，除此之外，还有一种批量数据处理的方法就是 TimeWindow 以及 TimeWindowAll，Flink 时间窗口可以看作是对无线数据流设置的有限数据集。...
Flink / Scala 实战 - 1.使用 CountWindow 实现按条数触发窗口
BITDDD小栈
08-02 822
CountWindow 数量窗口分为滑动窗口与滚动窗口，类似于之前 TimeWindow 的滚动时间与滑动时间，这里滚动窗口不存在元素重复而滑动窗口存在元素重复的情况，下面 demo 场景为非重复场景，所以将采用滚动窗口。......
2.4 Apache Flink Time 与 Window
weixin_34132768的博客
05-20 213
1. Time 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入Flink的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，...
flink timeWindow demo
u012447842的博客
06-10 712
flink timeWindow demo flatMap 将一行数据切割成多条数据 timeWindow 时间窗口， 翻滚窗口， 每5秒执行一次求和。 SocketWindowWordCount.java package com.flink.test; import org.apache.flink.api.common.functions.FlatMapFunction; i...
【Flink】Flink对于迟到数据的处理
hlp4207的博客
05-31 7199
代码地址：https://github.com/18113996630/flink-practice/blob/master/src/main/scala/com/hrong/flink/watermark/WaterMarkFunc02.scala 视频讲解：flink迟到数据处理视频讲解 waterMark和Window机制解决了流式数据的乱序问题，对于因为延迟而顺序有误的数据，可以根据e...
【学习笔记 — Flink 处理迟到数据（★）】
a2752454047的博客
11-21 1281
Flink处理迟到数据
Flink / Scala 实战 - 20.keyBy 后 window 数据倾斜实战
BITDDD小栈
03-15 314
keyBy 数据倾斜分析与尝试。
Flink / Scala - 19.Side Outputs 侧输出流简介与使用
BITDDD小栈
01-18 650
Flink Side Outputs 实现侧边流输出与侧边流的窗口示例。
Flink 中 timeWindow 滚动窗口边界和数据延迟问题解析
03-21 1670
多流join操作需要用到window，window的重点是窗口数据丢失问题 看了一些博客，讲的不怎么清晰，这篇讲的较为清晰，在此分享。 https://blog.csdn.net/xsdxs/article/details/82415450 ...
Flink中的Time及Windows的使用
qq_32165517的博客
08-25 863
Flink中的Time及Windows的使用 Flink中的Time类型 Event Time / Processing Time / Ingestion Time Flink supports different notions of time in streaming programs. 对于Flink里面的三种时间： 事件时间 Event time: Event time is the time that each individual event occurred on its produci
Flink-处理函数
m0_63475429的博客
10-16 1462
在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（event）、状态（state） 以及时间（time）。这就相当于对流有了完全的控制权。处理函数比较抽象，没有具体的操作， 所以对于一些常见的简单应用（比如求和、开窗口）会显得有些麻烦；不过正是因为它不限定 具体做什么，所以理论上我们可以做任何事情，实现所有需求。所以可以说，处理函数是我们 进行 Flink 编程的“大招”，轻易不用，一旦放出来必然会扫平一切。
自定义Trigger解决Flink窗口延迟数据丢失问题
Just for Fun la
05-12 2743
而在收到延迟窗口时，我们就直接就输出窗口数据并清理窗口state。
Flink 中的 Window (窗口)
迎风悟极道的专栏
08-17 1683
Flink 中的Window 分析使用
flink scala版本报错JavaConversions$.deprecated$u0020propertiesAsScalaMap
a904364908的博客
08-31 1245
排查发现 从scala 2.12版本开始，Scala官方废除了“scala.collection.JavaConversions”，改用“scala.collection.JavaConverters”。排查了flink lib目录的jar包,flink本身是2.11的Scala版本.依赖的doris connector 的Scala版本是2.12,产生了冲突,将flink doris connector改为Scala 版本,成功解决这个问题.测试启动flink任务的时候,报了如下错误....
flink 1.12 时间语义与WaterMark
newbrid007的博客
03-24 2198
一. 在新版本中 flink 默认处理的是事件时间而不是 以前默认的处理时间 在学习的时候安装新版本 之后看历史版本的视频按照老师的步骤容易报错 大概的意思就是设置mark 或者将 事件类型 换成 Processing Time @deprecated In Flink 1.12 the default stream time characteristic has been changed to * [[TimeCharacteristic.EventTime]] ,
flink 处理迟到数据(Trigger、设置水位线延迟时间、允许窗口处理迟到数据、将迟到数据放入侧输出流、代码示例、迟到数据触发窗口计算重复结果处理)
热门推荐
不是一枚开发
05-22 7万+
文章目录前言1.Trigger2.处理迟到数据2.1 设置水位线延迟时间2.2 允许窗口处理迟到数据2.3 将迟到数据放入侧输出流3.实操3.1 代码示例3.2 中间遇到的异常3.3 结果演示4. 迟到数据触发窗口计算重复结果处理 前言   迟到数据，是指在watermark之后到来的数据，事件时间在水位线之前。所以只有在事件时间语义下，讨论迟到数据的处理才有意义。对于乱序流，可以设置一个延迟时间；对于窗口计算，可以设置窗口的允许延迟时间；另外可以将迟到数据输出到Side Outputs 1.Trigg
Flink / Scala 实战- 4.BroadCast 广播流数据先到再处理 Source 数据
BITDDD小栈
08-11 1647
Flink 支持增加 DataStream KeyBy 之后 conncet BroadCastStream 形成 BroadConnectedStream，广播流内数据一般为不间断更新的上下文信息，这里介绍如果等待广播流初始化完毕再处理 Source 数据
Flink / Scala - 7.DataSet & DataStream Sink 输出数据详解
BITDDD小栈
03-03 1482
一.引言 Flink 的数据处理主要分三步，第一步 Source 为数据源，分为 DataSet 和 DataStreaming ，后一步为 Transformation 负责处理和转换数据，针对不同的 DataSource，Transformation 可能会存在差异，最后一步是 sink 负责将结果输出。前面介绍了 DataSet 的 Source 和 Transformation，这里介绍下 DataSet 和 DataStreaming 的 Sink 相关 API。 Tips: 下述代码区
Flink基础学习(Scala):窗口函数window
厚积薄发
04-04 1405
文章目录一、前言二、窗口类型2.1 时间窗口(Time Window)2.1.1 滚动时间窗口2.1.2 滑动时间窗口2.1.3 会话窗口2.2 计数窗口(Count WIndow)2.2.1 滚动计数窗口2.2.2 滑动计数窗口三、总结 一、前言 窗口就是将无限流切割成有限流的一种方式，它会将流数据分发到有限大小的桶中进行分析 二、窗口类型 2.1 时间窗口(Time Window) 2.1.1 滚动时间窗口 所谓滚动窗口就是将数据依据固定的窗口的长度对数据进行切分（注意切分数据段是前闭后开），所以窗口长
networks:  net:    external: trueservices:  jobmanager1:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager1    hostname: jobmanager1    ports:     - '8081:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net  jobmanager2:    restart: always    image: apache/flink:1.16.3    container_name: jobmanager2    hostname: jobmanager2    ports:     - '8082:8081'    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1  taskmanager1:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager1    hostname: taskmanager1    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager1.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager2:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager2    hostname: taskmanager2    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager2.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2  taskmanager3:    restart: always    image: apache/flink:1.16.3    container_name: taskmanager3    hostname: taskmanager3    command: taskmanager    volumes:      - /etc/localtime:/etc/localtime      - /home/sumengnan/apache/flink/timezone:/etc/timezone      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager3.yaml:/opt/flink/conf/flink-conf.yaml      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml      - /home/sumengnan/apache/flink/data:/opt/flink/data      - /home/sumengnan/apache/flink/log:/opt/flink/log      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp    networks:      - net    depenes_on:      - jobmanager1      - jobmanager2
最新发布
04-04
- ./config/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/:/opt/flink/lib/ - ./scripts/start.sh:/start.sh taskmanager: image: flink:1.16.3-scala_2.12-java8 container_name: flink_...
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT_666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值