01、flink的原理和安装部署

原创 已于 2025-01-21 13:46:08 修改 · 733 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2025-01-16 14:27:27 首次发布

本文主要讲解flink的基础理论内容，如JobManager，TaskManager是什么，以及常见的Flink集群部署方式，以及flink中常见的一些概念，还有它的运行逻辑

01. JobManager

JobManager相当于是Flin集群的Master节点，它主要负责对Work节点（TaskManagger）资源管理，job的协调查询，job的划分，这些功能主要由以下三个组件完成

  • ResourceManager：它主要实现Flink的资源管理功能，如根据不同的计算环境提供不同的资源分配策略，如在Standalone环境中它负责实现申请启动TaskManager并获取Slot的资源信息以便后面分配Task
  • Dispatcher：提供对外的REST接口实现Flink执行信息的查询，同时也会为每个job对应的的JobMaster，并分发和执行JobGraph
  • JobMaster：它负责管理整个job的生命周期，如分布式快照checkpoints的生成。并把抽象的JobGraph通过配置和优化生成ExecutionGraph，最终把ExecutionGraph中的Task分发给TaskManager执行

02. TaskManager

TaskManager主要是向Flink集群提供运行Task的slot槽，并管理运行在slot槽中的Task

03. Flink中相关概念的含义

flink中任务跑起来之后会有这些名字需要弄清楚，并行度，分区，算子链，taskslot，task，subTask

  • Task: 相当于Spark中的Stage，一个job中根据是否发生分区的变化（主要是指产生shuffle的操作：上游分区的数据会分成若干份，被拉去到下游的不同分区）把job切分成不同的Task

  • 算子链： 算子链由若干个能划分成一个Task的算子组成

  • TaskSlot： TaskSlot代表可以运行Task的一组资源槽，分布在各个TaskManager进程中

  • 并行度，分区，SubTask： 并行度，分区和SubTask在flink中都表示相近的意思，都代表当下task的并发程度，也可以看作是一个运行线程

    其中需要的几点如下，其中一点是，Flink任务TaskSlot的数量要大于等于这个job中各算子并行度最大的那个算子的并行度，否则任务跑不起来，还有一点是各个Task需要运行在一个TaskSlot比如一个job有3个Task，那这三个Task就应该被分配到同一个slot中运行，这样做的目的是为了减少各个Task之间数据交换的成本，如下图所示
    在这里插入图片描述

04. Flink on yarn的运行原理

flink on yanr是大多数公司选择的一种运行方式，它的优势是借助yarn的资源管理能力，通过yarn能更灵活把控job的资源的使用，同时也大大的减轻了公司大数据组件的维护压力，如下是on yarn的运行流程

  • client端提交任务把对应的jar包和配置文件上传到hdfs中–如果是per-job模式，job任务的main函数的运行会放在client端运行，如果是application模式，main函数的执行会放在jobmanager端
  • 再向yarn申请contain运行JobManager，JM启动接着运行Dispatch，Resourcemanager组件
  • Dispatch根据提交的application为每个job启动JobMaster，并把JobGraph提交给JobMaster
  • JobMaster把JobGraph通过配置和优化解析成ExecutionGraph，然后向yarn申请需要的资源
  • yarn根据所需资源启动Taskmanager，并向RM注册Slot信息，RM在对应的TM上划分好Slot资源，同时TM向JobMaster提交 slot资源信息
  • 至此Flink的环境已经准备好了，JobMstar把ExecutionGraph中划分好的Task发送到TM中开始运行

在这里插入图片描述

06. Flink on Yarn 模式下的HA模式

HA模式主要是针对JobManager，每个job集群启动的时候JM但是单点的，如果挂了，对应的job就会失败，所有JM的HA是有必要配置的，flink on yarn模式下，它的HA本质上来说就是让yarn的application进行重试即可，但是在重试时需要zookeeper来协调JM失败后的切换

  • yarn application的重试配置
    在Hadoop的所以节点的yarn-site.xml文件中配置yarn.resourcemanager.am.max-attempts的次数，默认是2次
  • 在任务提交的客户端节点上找到flink-conf.yaml文件，配置JM重试的协调者zookeeper，具体的如配置ZK的集群地址，JM失败重试后所有元数据存储地址
Flink部署
weixin_44496135的博客
07-04 1056
打包完成后，在target目录下即可找到所需JAR包，JAR包会有两个，FlinkTutorial-1.0-SNAPSHOT.jar和FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar，因为集群中已经具备任务运行所需的所有依赖，所以建议使用FlinkTutorial-1.0-SNAPSHOT.jar。在YARN环境中，由于有了外部平台做资源调度，所以我们也可以直接向YARN提交一个单独的作业，从而启动一个Flink集群。
详解 Flink 的常见部署方式
weixin_44480009的博客
06-06 3253
Yarn 模式是指客户端把 Flink 应用提交给 Yarn 的 ResourceManager, Yarn 的 ResourceManager 会在 Yarn 的 NodeManager 上创建容器。YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 本质是利用的 YARN 的重试次数来实现的高可用。将编码好的 Flink maven 工程打成 jar 包，并将 jar 包上传到 flink 安装目录下的 lib 目录。
flink1.17部署模式和部署方法
少说，多做
10-10 2697
Apache Flink是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行，并能以内存速度和任意规模执行计算。目前市场上主流的流式计算框架有Apache Storm、Spark Streaming、Apache Flink等，但能够同时支持低延迟、高吞吐、Exactly-Once（收到的消息仅处理一次）的框架只有Apache Flink。
Flink安装部署
weixin_42796403的博客
03-01 6670
Flink安装部署 目录Flink安装部署一、开发模式二、local-cluster模式2.1local-cluster模式配置2.2在local-cluster模式下运行无界的WordCount三、Standalone模式3.1Standalone模式配置3.2 Standalone模式运行无界流WorkCount3.3Standalone高可用(HA)四、Yarn模式4.1Yarn模式配置4.2Yarn运行无界流WordCount4.3Flink on Yarn的3种部署模式4.4 Per-Job-Cl
Flink基础简介和安装部署
加贝的博客
03-23 1398
Flink是⼀个分布式，高性能，随时可⽤的以及准确的流处理计算框架，Flink可以对无界数据（流处理）和有界数据（批处理）进⾏有状态计算的分布式，⾼性能的计算框架。⽆界数据流：数据流是有⼀个开始但是没有结束；有界数据流：数据流是有⼀个明确的开始和结束，数据流是有边界的。
Flink 安装部署与快速入门
qq_43528451的博客
01-27 3208
(一)、Flink 安装部署与快速入门（xxbj） 一、flink概述 1、为什么选用flink？ 不仅仅是一个高吞吐、低延迟的计算引擎，同时还提供很多高级的功能。：有状态的计算、支持强一致性语义以及至此基于Event Time的WaterMark对延迟或者乱序的数据进行处理 2、flink组件 物理部署层 本地、独立集群、yarn管理集群上、云上 runtime核心层 该层为上层不同接口提供基础服务；也是flink分布式计算框架的核心实现层支持分布式stream作业的执行、jobgraph到ex
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7459
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
Flink部署与应用——部署方式介绍
从知识输入到知识输出
04-25 1209
Flink部署与应用——部署
大数据Flink安装部署
赵广陆
05-05 586
目录1 Local本地模式1.1 原理1.2 操作1.3 测试2 Standalone独立集群模式2.1 原理2.2 操作2.3 测试3 Standalone-HA高可用集群模式3.1 原理3.2 操作3.3 测试4 Flink On Yarn模式4.1 原理4.1.1 为什么使用Flink On Yarn?4.1.2 Flink如何和Yarn进行交互?4.1.3 两种方式4.1.3.1 Session模式4.1.3.2 Per-Job模式4.2 操作4.3 测试4.3.1 Session模式4.3.2 P
Flink原理与实践-Flink的部署和配置.pdf
12-16
Flink原理与实践-Flink的部署和配置 Flink是一个流行的开源大数据处理引擎，支持实时和批处理，具有高性能、灵活性和可扩展性等特点。在实际应用中，Flink的部署和配置是一个非常重要的环节，本节将详细介绍Flink的...
flink介绍及安装部署
02-07
通过本文介绍的体系结构和安装部署过程，可以帮助初学者快速入门 Flink，并为后续深入学习打下坚实基础。无论是单机模式还是集群模式，Flink 都提供了丰富的功能支持，使其成为处理复杂数据流的理想选择。
Flink架构、原理与部署测试
01-27
Apache Flink是一个强大的开源流处理框架，它独特的设计使得它能同时处理流处理和批处理任务，打破了传统计算方案中两者分离...通过理解Flink的架构、原理和部署，开发者可以更好地利用这个平台解决各种实时计算挑战。
Flink原理与实践-PPT课件.rar
07-05
"**Flink原理与实践-PPT课件.rar**" 这个标题表明，这个压缩包包含的是一份关于Apache Flink的PPT教学资料，主要讲解了Flink的基础理论和实际应用。Flink是大数据处理领域的一个流处理框架，它以实时处理和低延迟...
Flink元空间异常深度解析：从原理到实战调优指南
jiedaodezhuti的博客
08-24 433
想象一下这样的场景：你的Flink作业在客户现场稳定运行数月后突然集体"罢工"，TaskManager进程还在但作业全挂，日志里赫然显示着OutOfMemoryError: Metaspace——这就是典型的元空间异常。作为Flink运维中最"隐秘"的内存问题之一，元空间异常往往让开发者措手不及。本文将带你深入理解这一现象的本质，并提供可落地的解决方案和调优策略，助你彻底驯服这只"内存怪兽"。‌进程状态‌：TaskManager或JobManager进程可能"假死"——进程仍在但无法处理请求。
Flink 滑动窗口实战：从 KeyedProcessFunction 到 AggregateFunction & WindowFunction 的完整旅程
最新发布
AlgoCraft
08-25 631
Flink实时流处理用户品牌行为的最晚时间统计方案对比。需求是统计每个用户-品牌组合最近1小时的最晚行为时间，每5分钟更新一次。提供了三种实现方案：1)KeyedProcessFunction灵活但代码复杂；2)AggregateFunction+WindowFunction组合，性能较好且API简单；3)新API方案兼顾性能与元数据。重点展示了第二种方案，通过滑动窗口(1小时长度，5分钟滑动)配合AggregateFunction计算最大值，再通过WindowFunction补齐窗口信息。启动后需等待1小
【Flink】部署模式
qq_43494013的博客
08-24 587
【Flink】部署模式
粗粮厂的基于flink的汽车实时数仓解决方案
Direction_Wind的博客
08-21 826
这里主要是做一个记录毕竟工作了这么多年，想要总结一下，所以就慢慢写，慢慢更新了，想到哪里写哪里吧。
flink常见问题之超出文件描述符限制
jiedaodezhuti的博客
08-23 501
当 Flink 任务尝试打开过多的文件或网络连接时，可能会耗尽文件描述符，导致任务失败或性能下降。解决 Flink 中的文件描述符限制问题需要从多个角度综合考虑，包括系统级的配置优化、Flink 的内部配置调整以及代码级别的优化。在 Flink 的批处理或流处理作业中，如果涉及到大量的小文件写入（例如使用 FileSink），每个小文件的打开和关闭都会消耗一个文件描述符。优化 Flink 的并行度配置，避免不必要的节点间通信，或者使用更高效的序列化框架减少网络传输的开销。
SparkSQL、FlinkSQL与普通sql比较
code_fly
08-21 900
（支持流式聚合和事件时间过滤910）（批处理语法与标准SQL一致9）
深入解析Flink技术原理及其应用
此外，Flink支持与多种数据源和数据接收器的集成，如Kafka、Elasticsearch、HDFS等，这为Flink应用的构建和部署提供了便利。通过这些集成，Flink可以方便地接入不同来源的数据，处理完成后将结果存储到各类数据存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值