【Flink】Flink SQL

一、Flink 架构

Flink 架构 | Apache Flink

二、设置TaskManager、Slot和Parallelism

在Apache Flink中，设置TaskManager、Slot和Parallelism是配置Flink集群性能和资源利用的关键步骤。以下是关于如何设置这些参数的详细指南：

1. TaskManager 设置

TaskManager是Flink集群中负责执行作业的节点。关于TaskManager的设置，主要关注其数量和资源分配。

1. TaskManager数量：根据集群规模和作业需求确定TaskManager的数量。例如，如果集群资源充足且作业并发度高，可以增加TaskManager的数量以提高处理能力。
2. 资源分配：为每个TaskManager分配适当的内存和CPU资源。这取决于集群的硬件配置和作业的资源需求。确保为TaskManager分配足够的资源以确保作业可以高效运行。

2. Slot 设置

Slot是TaskManager上用于执行作业的资源单元。一个Slot可以并行运行一个作业的子任务。

1. Slot数量：每个TaskManager上的Slot数量决定了该TaskManager可以并行运行的作业子任务数。Slot数量通常根据TaskManager的内存和CPU资源来确定。例如，如果TaskManager有2GB内存和1个CPU核心，并且每个Slot需要1GB内存和0.5个CPU核心