Flink 之滚动窗口/滑动窗口/会话窗口/OVER窗口

原创

已于 2024-08-13 16:59:57 修改 · 3.2k 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #阿里云 #big data #数据分析 #数据挖掘

于 2024-08-05 18:09:11 首次发布

窗口计算离不开水印，即 watermark，关于 watermark 可以看我上一篇文章 Flink 时间属性及 WATERMARK 水印。

1. 滚动窗口

滚动窗口（TUMBLE）将每个元素分配到一个指定大小的窗口中。通常，滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分为[0:00, 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。

CREATE TEMPORARY TABLE src_kafka (
`create_time` TIMESTAMP(3)  NOT NULL METADATA from 'timestamp',
`offset`    bigINT NOT NULL METADATA from 'offset' ,
`partition` INT NOT NULL METADATA from 'partition' ,
 cs1 STRING,
 ip STRING,
 b STRING,
 t STRING,
 n STRING,
 tm BIGINT,
 event_time as TO_TIMESTAMP(tm),
 watermark for event_time as event_time - INTERVAL '2' SECOND, -- 定义水位线
 PRIMARY KEY (`partition`, `offset`) NOT ENFORCED
) WITH (
  'connector' = 'kafka',
  'topic' = 'ai_log',
  'properties.bootstrap.servers' = 'alikafka',
  'properties.group.id' = 'pyspark-consumer',
   'scan.startup.mode' = 'latest-offset',
  'format' = 'json'
);

SELECT
TUMBLE_START(event_time, INTERVAL '1' MINUTE) as window_start,
TUMBLE_END(event_time, INTERVAL '1' MINUTE) as window_end,
b as platform,
count(distinct cs1) as uv
from src_kafka 
where n = 'ADCompanyShow' 
and cs1 is not null 
GROUP BY TUMBLE(event_time, INTERVAL '1' MINUTE),b
;