再谈 Flink 的“动态表”和“流表二象性”

已于 2024-06-26 09:08:38 修改
阅读量1.2k 收藏 18
点赞数 27
CC 4.0 BY-SA版权
分类专栏： 大数据专题 CDC数据入湖方案 • 合集 付费专栏 文章标签： flink 动态表 流表二象性 dynamic changlog
于 2024-03-18 09:26:47 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/136620262
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

尽管我们在此前的多篇文章中介绍过动态表的概念，但这个概念确实有一些抽象，伴随着学习的地深入，也会有会新的领悟，本文再次去动态表和表流二象性做一些梳理。此前对动态表的介绍可参考《Flink 动态表 (Dynamic Table) 解读》和

了解本专栏 订阅专栏 解锁全文
Flink 动态表操作
congge_study的博客
03-19 7829
Flink 动态表操作
Flink动态表和时态表总结
weixin_41197407的博客
05-19 1963
动态表 动态表 是 Flink 的支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个 连续查询 。一个连续查询永远不会终止，结果会生成一个动态表。查询不断更新其(动态)结果表，以反映其(动态)输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询 注意事项 动态表首先是一个逻辑概念。在查询执行期间不一定(完全)物化动态表 在流上定义的表在内部没有物化 连续查询 一个不会
Flink 四 动态表
文报的博客
03-29 2468
    这一章说一下Flink动态表的概念。阿里的一篇文章，可以先看看会对动态表有一个模糊的概念。动态表就是一个根据流在动态变化的表。从阿里的例子可以看出，当一个表Stream发生改变的时候，就会引起Keyed Table这张表的一个动态变化，表Stream是一个无法撤回的表，Stream表是只能不停增加的一张表，但是Keyed Table 会根据Stream中数据的增长的变化来修改自己count...
Flink动态表 (Dynamic Table)
数据工匠记
02-12 9628
传统的数据库SQL在设计时并未考虑流数据。但是结果，传统的数据库SQL处理与流处理之间在概念上几乎没有差距。 本文主要是想说一下Flink动态表的思路。主要是可以类比传统数据库的物化视图。 翻译于（官网）原地址：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/table/streaming/dynamic_tab...
Flink Dynamic Tables
hyunbar的博客
08-28 1640
如果把流看作一张表，那么流中每个数据的到来，都应该看作是对表的一次插入（Insert）操作，会在表的末尾添加一行数据。而基于表执行的查询操作，也就有了新的含义。
Flink之动态表 (Dynamic Table)
doraemonjtr的博客
07-05 2006
Flink之动态表
Flink动态表的连续查询
02-24
因为这些特性，Flink能够近实时对大量的输入数据计算出一个确定和精确的结果，并且在发生故障的时候提供一次性语义。Flink的核心流处理API，DataStreamAPI，非常具有表现力，并且为许多常见操作提供了原语。在其他...
Flink TableAPI和SQL（八）动态表编码成数据流
weixin_45417821的博客
05-06 943
文章目录仅追加（Append-only）流撤回（Retract）流更新插入（Upsert）流 与关系型数据库中的表一样，动态表也可以通过插入（Insert）、更新（Update）和删除（Delete）操作，进行持续的更改。将动态表转换为流或将其写入外部系统时，就需要对这些更改操作进行编码，通过发送编码消息的方式告诉外部系统要执行的操作。在 Flink 中，Table API 和 SQL支持三种编码方式： 仅追加（Append-only）流 仅通过插入（Insert）更改来修改的动态表，可以直接转换为“仅追加
Flink SQL 动态表
记录点点滴滴
06-05 671
动态表 (Dynamic Tables) : 当流有新数据到来，表就会插入一行持续查询 : 每来个数据, 就会触发查询，当前动态表的所有数据。
Flink系列-动态表
似水_逆行的博客
09-11 1275
Flink，动态表，dataStream，持续查询
Flink SQL之动态表
蔡政洁的博客
04-08 1148
目录（1）动态表（2）在流上定义表（3）连续查询（4）表到流的转换 （1）动态表 动态表 是 Flink 的支持流数据的 Table API 和 SQL 的核心概念。与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们。查询动态表将生成一个 连续查询 。一个连续查询永远不会终止，结果会生成一个动态表。 查询不断更新其(动态)结果表，以反映其(动态)输入表上的更改。本质上，动态表上的连续查询非常类似于定义物化视图的查询。 需要注意的是，连续查询的结果在语义上总是等价于以批处理
Flink 动态表 (Dynamic Table) 解读
Laurence的技术博客
02-05 2636
根据过去在流上维持状态的编程经验，我们可以深刻地体会到：Dynamic Table 的本质其实是基于 changelog 数据流维持的一个流上的状态（State）！ 动态表是 Flink 能以 SQL 驱动和操纵流式处理的基础，也是 Flink 实现 ”批流一体“ 的一项内在的技术支撑。简单地说，它的思想就是：将一个”流“抽象成一张”无界”的数据表，这样就可以在上面施加 SQL 操作了。静态的关系表和数据流有可以类比的地方，这是能将两者映射在一起的理论基础，同时，它们之间也有难以弥合的差异，所以在某些方面
FLINK SQL动态表&连续查询
最新发布
王小工小工历程
10-11 1965
使用Flink支持的连接器（如Kafka、JDBC、HDFS等）来配置数据源。这些连接器允许Flink从外部系统读取数据，并将其转换为Flink内部的数据流。在Flink SQL中，使用CREATE TABLE语句来定义动态表。动态表是对数据流的一个连续视图，能够反映数据流的最新状态。
流表的二元性
qq_34341930的博客
07-04 240
https://www.cnblogs.com/jixp/p/9767690.html
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
zhengzaifeidelushang的博客
12-31 3139
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
【Flink】流-表概念
weixin_34405332的博客
12-12 174
流概念 Data Streams上的关系查询 关系型SQL与stream processing对比如下。 SQL Stream Processing 有限元组 无限元组 完整数据集上的查询 无法基于所有数据查询 查询会结束 查询不会结束 Materialized View被定义为一条SQL查询，其会缓存查询结果。但当所查询的表(基表)被修改时，缓存的结果将过期。 Eag...
Flink 实时数仓关键技术解读：Upsert Kafka 和 动态表（Dynamic Table）
Laurence的技术博客
02-19 2508
“动态表”的本质是什么？它本质上是一条流（Stream）以及在流上维持着的若干状态（State）！upsert-kafka connector 不同于 kafka connector 的主要地方就在于：通过 upsert-kafka 创建的表能自动同步源端数据表的变更，（Table 模式下）查询该表的结果总能和源表实时保持一致，对于初次接触 Flink 的开发者来说会感到“非常神奇”，因为 upsert-kafka 的数据表是建立在 Kafka 上的，Kafka 并不支持更新和删除操作，但 upsert-k
【SQL篇】一、Flink动态表与流的关系以及DDL语法
llg___的博客
11-06 992
和MySQL等关系型表不同的是，无限流下，会有源源不断的数据过来进入表中，即动态表，来一条数据，往表中插入一条数据。修改查询SQL，使用TUMBLE加一个开窗，每个窗口触发时，输出结果，此时对结果表就只有insert追加数据，没有update，即追加查询。此时，结果表（动态），可能是简单的insert，如Bob这条数据，也可能是对旧数据的更新update，如Alice，这就是。动态表仅仅通过insert来修改，转为流时，对应一个仅追加的流，流中的每条数据，就是动态表的每行数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值