深入理解 Flink（七）Flink Slot 管理详解

在讲Slot之前建议先看上文https://blog.csdn.net/weixin_44080445/article/details/120008414 翻译官网可以得到如下内容 1.Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个Task。为了控制一个worker能接收多少个task(这里的task可以理解为上文里面经过合并后subtask的数量)，worker通过Task Slot来进行控制（一个worker至少有一个Task Slot）。

1）任务槽（Task Slots）Flink中每一个TaskManager都是一个JVM进程，它可以启动多个独立的线程，来并行执行多个子任务（subtask）。很显然，TaskManager的计算资源是有限的，并行的任务越多，每个线程的资源就会越少。那一个TaskManager到底能并行处理多少个任务呢？为了控制并发量，我们需要在TaskManager上对每个任务运行所占用的资源做出明确的划分，这就是所谓的任务槽（task slots）。每个任务槽（task slot）其实表示了TaskManager拥有计

通过Rpc服务，启动 TaskExecutor，找 它的 onStart()方法。开始注册，注册成功之后，调用 onRegistrationSuccess()分配完之后，通知 TaskManager提供 slot给 JobMaster。终端的启动，实际上是由 自身网关（RpcServer）来启动的。根据 RM的命令，分配taskmanager上的slot。连接上job， 向JobManager提供 slot。TaskManager 提供slot。创建和注册 新的这些 slot。启动TaskManager。.

本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics，future。本文解释slotpool组件，严格来说，slotpool组件不属于功能组件，而是业务组件，资源消费者申请到资源后，在本地管有资源slot，避免资源管理器异常导致作业运行失败，同时资源管理器不可用也不会影响作业的继续执行，只有资源不足时才会导致作业执行失败。

怀念二抱三抱

本章节重点介绍了 Flink Job 提交过程，包含了 StreamGraph 到 JobGraph 在客户端的转换和优化，并给出了源码级剖析。虽然是以 per-job 模式下的提交过程为例，但在 session、application 模式下核心代码并无二致，均可作为研究参照。

本章节主要介绍了 Flink 的通信框架 akka、Flink on YARN 的三种部署模式、Flink 高可用服务、Flink 文件服务 BlobService。读者可从中进一步了解到 Flink 的工作原理与设计哲学，无论从事 Flink 开发、应用、维护，还是其他分布式系统的设计，均会有启发和收获。

Flink 是当今最主流的大数据流式计算引擎，没有之一。本文将解开 Flink 的神秘面纱，从 MapReduce、Spark、Flink 的技术演进入手，引出 Flink 的核心设计原理、简单的编程模板与执行过程，以及 Flink 内存管理方式。

对 Flink 架构拥有源码级理解是大数据实时计算从业人员的必备条件，从本章节开始，将按照 Flink 集群启动、Flink Job 提交、Slot 管理、Task 执行的顺序一一为读者展开 Flink 源码剖析。本章节重点介绍了 Flink 集群三大组件的启动流程，读者在进行分布式计算框架的设计时可以作为参照。

asdvaasdf

本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics，future。本文解释slotpool组件，严格来说，slotpool组件不属于功能组件，而是业务组件，资源消费者申请到资源后，在本地管有资源slot，避免资源管理器异常导致作业运行失败，同时资源管理器不可用也不会影响作业的继续执行，只有资源不足时才会导致作业执行失败。

Flink 支持算子链（Operator Chaining），当链上的算子具有相同的并行度时，这些算子可以共享一个 Slot，减少数据在内存中传输的成本，提高性能。总结来说，Flink 中的 Slot 是实现作业并行执行和资源管理的关键组件，通过灵活配置 Slot 数量和合理使用 Slot Sharing Group，能够有效优化分布式环境下作业的执行效率和资源利用率。：作业中的一个算子设置了并行度之后，会生成对应的多个子任务，这些子任务将会被分配到不同或相同的 Slot 上执行，以实现并行处理数据。

参考：https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/config.html#configuring-taskmanager-processing-slots            https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/pa

flink 是如何计算一个任务的 task slots 消耗，涉及概念：数据流图、算子链、slot共享

Flink slot槽优化 案例

同一个TaskManager上的所有slot都只是做了内存分离，没有做CPU隔离。

一、概念 1、Task：一个阶段多个功能相同的subTask的集合，类似Spark的TaskSet 2、SubTask：是任务最小的执行单元，是一个Java类的实例，完成具体的计算逻辑 3、Slot：计算资源的隔离单元，一个Slot可以运行多个SubTask，但是这些SubTask必须是来自同一个application的不同阶段的subTask。 注意：Flink划分Task主要有四种情况： （1）类似keyBy，broadcast，rebalance等算子产生shuffer （2）Parall