大数据Flink（九十七）：EXPLAIN、USE和SHOW 子句

某一知识点，并辅以具体的示例进行说明。本专栏的文章编号可能不是顺序的，主要是因为写的时候顺序没统一，但相关的文章又引入了，所以后面就没有调整了，按照写文章的顺序进行编号。但一个专题的顺序号是统一的，不存在编号跳跃情况。

Flink SQL: SHOW Statements

Flink学习小记-实操执行计划可视化执行计划可视化方式Plan Visualization ToolApache Flink Dashboard flink会根据客户端提交程序的一些参数，以及集群中机器（TaskManager）的数量去自动优化选取一个它认为合适的执行策略（使数据在DAG中流动计算）；通常情况下，了解flink为job选取的执行计划对我们理解flink是如何执行客户端任务是非常有...

如果熟悉 MySQL 的同学会非常熟悉这个子句，在 MySQL 中，USE 子句通常被用于切换库，那么在 Flink SQL 体系中，它的作用也是和 MySQL 中 USE 子句的功能基本一致，用于切换 Catalog，DataBase，使用 Module。

Flink 对 SQL 的支持基于实现了 SQL 标准的 Apache Calcite，包括数据定义语言、数据操纵语言以及查询语言。本章我们结合实际应用，来讲解如何使用 Flink SQL

Flink SQL 对于分析人员的帮助，及语法学习

Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apache Calcite 来实现的标准 SQL。无论输入是连续的（流式）还是有界的（批处理），在两个接口中指定的查询都具有相同的语义，并指定相同的结果。

Regular Joins，即常规连接，是Flink中最通用的连接类型。在这种连接下，连接两侧表的任何新记录或变更都是可见的，并会影响整个连接的结果。例如，如果左侧有一条新记录，在连接条件满足的情况下，它将和右侧表的之前和之后的所有记录进行连接。Interval Joins连接两个数据流（或表），并基于相同的关键字（Key）以及一个相对时间区间来进行匹配。这个时间区间由用户指定，包括一个下界（lowerBound）和一个上界（upperBound）。

简介运行环境集成UDF基类实现UDF执行逻辑函数注意UDF入参、出参类型推导明确UDF输出结果是否是定值巧妙运用运行时上下文。

自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库

当作业重新启动时，所有子任务的下一个PartFile索引将是max PartFile索引+ 1，其中max是指在所有子任务中对所有计算的索引最大值。需要注意的是，使用Bulk Encoding时，Filnk1.9版本的文件滚动就只能使用OnCheckpointRollingPolicy的策略，该策略在每次checkpoint时滚动part-file。这两种写入格式除了文件格式的不同，另外一个很重要的区别就是回滚策略的不同：创建行或批量编码的 Sink 时，我们需要指定存储桶的基本路径和数据的编码。

在开发过程中，如果遇到需要下发/广播配置、规则等低吞吐事件流到下游所有 task 时，就可以使用 Broadcast State。Broadcast State 是 Flink 1.5 引入的新特性。下游的 task 接收这些配置、规则并保存为 BroadcastState, 将这些配置应用到另一个数据流的计算中。

之前发布的 Flink 版本中[1]，已经支持了 source connector 工作在流批两种模式下，因此在 Flink 1.12 中，社区着重实现了统一的 Data Sink API（FLIP-143）。Sink 的实现者只需要定义 what 和 how：SinkWriter，用于写数据，并输出需要 commit 的内容（例如，committables）；Flink 1.12的 FileSink 为批处理和流式处理提供了一个统一的接收器，它将分区文件写入Flink文件系统抽象所支持的文件系统。

Lookup Join 其实就是维表 Join，比如拿离线数仓来说，常常会有用户画像，设备画像等数据，而对应到实时数仓场景中，这种实时获取外部缓存的 Join 就叫做维表 Join。

Flink On Yarn模式 原理 为什么使用Flink On Yarn? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下： -1.Yarn的资源可以按需使用，提高集群的资源利用率 -2.Yarn的任务有优先级，根据优先级运行作业 -3.基于Yarn调度系统，能够自动化地处理各个角色的 Failover(容错) ○ JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控 ○ 如果 JobManager

Flink CDC 基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。目前，Flink CDC 的上游已经支持了 MySQL、MariaDB、PG、Oracle、MongoDB 等丰富的数据源，对 Oceanbase、TiDB、SQLServer 等数据库的支持也已经在社区的规划中。的技术，我们都可以称之为 CDC。

SELECT 用于从 DataSet/DataStream 中选择数据，用于筛选出某些列。示例：// 取出表中的所有列// 取出表中 name 和 age 两列与此同时 SELECT 语句中可以使用函数和别名，例如我们上面提到的 WordCount 中：