Flink中的Windows_flink windows-CSDN博客

本文链接：https://blog.csdn.net/mqiqe/article/details/138941499

简述

在Apache Flink中，Windows（窗口）是一个核心概念，特别是在处理流式数据时。Windows是一种将无限的数据流切割为有限的数据块（即窗口）以进行处理的手段。这在处理无限数据集时特别有用，因为无限数据集是不断增长的，无法直接对整个数据集进行操作。
Flink中的Windows主要可以分为两种类型：

1、Time Window（时间窗口）

时间窗口是按照时间生成的窗口。它基于时间边界来定义窗口的开始和结束。例如，你可以定义一个每5分钟一个的时间窗口，这样每过5分钟，就会有一个新的窗口被创建并处理。
Flink支持多种时间窗口类型，包括滚动窗口（Tumbling Windows）、滑动窗口（Sliding Windows）等。

2、Count Window（计数窗口）

计数窗口是按照指定的数据条数生成一个窗口，与时间无关。例如，你可以定义一个每100条数据一个的计数窗口，当数据流中到达100条数据时，就会创建一个新的窗口并处理。

除了窗口类型，Flink还提供了与窗口相关的其他组件和概念，如：

Assigner（分配器）：用于决定一个元素应该属于哪个窗口。
Trigger（触发器）：用于决定何时触发窗口的计算。
Function（函数）：在窗口上执行的计算逻辑。
Evictor（驱逐器）：在窗口函数执行前后，可以执行一些额外的数据处理工作，但并不常用。

Flink中的时间概念也与Windows紧密相关，包括：

Event Time：事件创建的时间，通常由事件中的时间戳描述。
Ingestion Time：事件进入Flink系统的时间。
Processing Time：事件被Flink算子处理时的时间。

在Flink的流式处理中，Windows是实现从流处理到批处理转变的重要桥梁。通过将无限的数据流切割为有限的窗口，我们可以对每个窗口内的数据进行聚合、转换或其他操作，从而得到有价值的结果。

窗口机制

Flink的窗口机制是一种对流处理框架中无限流数据流进行分组和聚合的重要机制。它允许用户将无限流数据流切分为有限的、连续的数据块（即窗口）进行处理。以下是Flink窗口机制的主要组成部分和原理：

窗口分配：
- Flink提供了多种窗口分配策略，如滚动窗口（Tumbling Windows）、滑动窗口（Sliding Windows）、会话窗口（Session Windows）等。
- 窗口分配策略根据时间、数量或其他条件对数据流进行切分，将数据分配到不同的窗口中进行处理。
- 在窗口分配过程中，Flink会根据设置的窗口大小和滑动步长（对于滑动窗口）等参数，将数据流中的元素分配到对应的窗口中。
窗口计算：
- 窗口计算是指在每个窗口内对数据进行聚合、计算或其他操作。
- Flink通过窗口函数（如ReduceFunction、AggregateFunction等）对每个窗口内的数据进行处理。
- 聚合操作可以是简单的求和、求平均等，也可以是更复杂的业务逻辑。
窗口输出：
- Flink提供了多种输出方式，如将计算结果发送到消息队列、存储到数据库或直接返回给调用方。
- 在每个窗口计算完成后，Flink会将结果按照设定的输出方式进行输出。
窗口原理的核心：
- 窗口原理的核心是窗口分配和窗口计算两个过程。
- 在这两个过程中，Flink通过灵活的窗口函数和窗口策略，可以实现各种窗口计算场景，如实时统计、滚动平均等。
使用场景：
- Flink的窗口机制可以用于实时计算和流式处理场景，如实时统计、实时推荐、实时报警等。
- 例如，可以使用Flink的窗口操作计算每分钟的用户访问量、每小时的销售额等实时指标。
优势：
- Flink的窗口机制支持高吞吐、低延迟、高性能的流式数据处理。
- Flink支持基于事件时间（Event Time）的窗口计算，这有助于保持事件原本产生时的时序性，避免网络传输或硬件系统的影响。

样例

Time Windows

Time Windows（时间窗口）是一种基于时间对数据流进行切分和处理的窗口类型。这些窗口通常用于对流数据进行时间范围的聚合操作，如计算一段时间内的平均值、总和或计数等。

滚动窗口

滚动窗口有固定的时间大小，并且每个窗口是互不重叠的。当时间前进到下一个窗口的起始时间时，就会创建一个新的窗口，并且开始处理该窗口内的数据。例如，一个5分钟的滚动窗口会每5分钟创建一个新的窗口，并且每个窗口都是独立的，不包含前一个或后一个窗口的数据。

import org.apache.flink.api.common.functions.MapFunction;  
import org.apache.flink.api.java.tuple.Tuple2;  
import org.apache.flink.streaming.api.datastream.DataStream;  
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;  
import org.apache.flink.streaming.api.functions.windowing.AllWindowFunction;  
import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;  
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;  
import org.apache.flink.streaming.api.windowing.time.Time;  
import org.apache.flink.util.Collector;  
 
// 假设的Event类  
public class Event {
   
     
   public long timestamp;  
   public String value;  
 
   // 构造函数、getter和setter省略...  
}  
 
public class FlinkTumblingWindowDemo {
   
     
 
   public static void main(String[] args) throws Exception {
   
     
       // 设置执行环境  
       final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();  
 
       // 创建一些模拟数据  
       DataStream<Event> eventStream = env.fromElements(  
               new Event(1609459200L, "event1"), // 2021-01-01 00:00:00  
               new Event(1609459210L, "event2"),  
               new Event(1609459220L, "event3"),  
               new Event(1609459260L, "event4"),  
               // ...更多事件  
               new Event(1609462800L, "eventN") // 2021-01-01 01:00:00  
       );  
 
       // 分配时间戳和水印（这里简化为直接使用时间戳作为事件时间）  
       eventStream = eventStream.assignTimestampsAndWatermarks(  
           (event, timestamp) -> event.timestamp  
       );  
 
       // 使用滚动事件时间窗口，每5分钟一个窗口  
       DataStr