Flink 运维监控与指标采集实战

已于 2025-05-10 11:45:43 修改
阅读量732 收藏
点赞数 10
CC 4.0 BY-SA版权
分类专栏： Flink + Kafka 实时数仓实战 文章标签： flink 运维 大数据 数据仓库 kafka grafana
于 2025-05-10 11:43:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010492647/article/details/147850111

一、引言：实时任务为什么必须监控？

在实时任务中，任务失败、数据延迟、资源瓶颈往往并非由明显的代码异常引发，而是隐蔽地潜藏在：

  • Kafka 积压无告警

  • Flink Checkpoint 卡顿却无人知晓

  • 反压、TaskManager 内存 OOM 未实时感知

为了保障业务 SLA、高可用与可观测性，构建完善的 Flink 运维监控体系势在必行。

二、Flink 自带的指标体系概览

Flink 提供了丰富的内部指标（Metrics System），可通过 MetricsReporter 采集至外部系统（如 Prometheus、InfluxDB、JMX 等）：

指标类别 示例 含义
Checkpoint 指标 checkpoint_latest_duration,
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink 运维监控与指标采集实战（Prometheus + Grafana 全流程）
晴天彩虹雨的博客
05-15 928
Flink运维监控在实时计算场景中至关重要，因为Flink作业需要7×24小时稳定运行，对性能、资源、故障感知和状态变化的实时监控是保障系统稳定的关键。Flink自带的Metrics系统提供了基本的监控能力，但为了更全面的监控，Prometheus+Grafana成为最主流的解决方案。通过配置PrometheusReporter和Grafana仪表盘，可以实现对Flink作业的全面监控，包括CPU、内存、吞吐量、Checkpoint状态、KafkaSink性能等关键指标。此外，自定义指标采集和报警机制的配置
【Flink】Flink 任务实时监控
九师兄
01-13 6905
1.概述 转载：Flink 任务实时监控最佳实践 我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Re
阿里面试：Flink Web UI核心监控项有哪些？如何监控Flink任务端到端全链路延迟？
最新发布
微信搜：import_bigdata，大数据领域硬核原创作者
06-05 1198
Checkpoint 相关：numCompletedCheckpoints（成功次数）、latestCheckpointDuration（耗时）、pendingCheckpoints（排队数），优化 Checkpoint 配置。全链路延迟指数据从进入Flink任务（Source）到离开任务（Sink）的端到端耗时，Web UI 未直接提供该指标，实现端到端全链路延迟的方法有多种，我们举两个例子。事件时间延迟（Event Time Lag）：若启用事件时间，显示当前事件时间与处理时间的差值，衡量端到端延迟。
FlinkOnYarn 监控 flink任务（RestAPI）
m0_57320261的博客
01-08 1729
通俗的说就是一个能够接受json，处理json，输出json的程序，反正很好用。获取线运行job任务，记录到日志文件。这里shell脚本也只记录，flink-on-yarn 这种部署方式任务监控。只需要监控实时yarn 任务有没有处于RUNNING，达到监控的目的。Flink任务一般为实时不断运行的任务，如果没有任务监控,Flink任务监控（基于API接口编写shell脚本）这里通过调用API接口方式来获取参数，实现任务监控。shell脚本水平有限，大家多多谅解，欢迎指导。获取这个任务单个信息。
Flink Metrics监控 pushgateway搭建
Mogeko1的博客
01-31 2700
Flink Metrics监控 pushgateway搭建
八种Flink任务监控告警方式
weixin_42049123的博客
01-28 6148
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时日志、使用调度平台，使用调度平台、引入开源SDK方式、自定义SDK写入通用系统通用系统里方式选择。
Flink 任务指标监控
tszc95的博客
01-03 2073
Apache Flink 监控常用指标
Flink——监控
京河小蚁的博客
06-30 4337
Flink的web界面提供了一个选项卡来监视作业的检查点。这些统计数据在作业终止后也可用。有四个不同的选项卡显示关于检查点的信息:Overview, History, Summary, and Configuration。以下部分将依次介绍所有这些内容。概览选项卡列出了以下统计信息。请注意，这些统计数据不会在JobManager丢失后继续存在，并且在JobManager故障转移时将被重置为。检查点历史记录保存关于最近触发的检查点的统计信息，包括当前正在进行的检查点。 注意，对于失败的检查点，度量标准是在最佳
从 0 到 1 搭建一套 Flink 的监控系统
http://www.54tianzhisheng.cn/
06-18 7346
点击上方“zhisheng”，选择“设为星标”后台回复"666"，获取新资料之前讲解了 JobManager、TaskManager 和 Flink Job 的监控，以及...
Flink任务实时监控：大数据流处理的可视化展示
ByteHackerX的博客
08-30 927
然而，为了确保任务的顺利运行和监控，我们需要实时监控Flink任务的状态、性能指标和数据流。本文将介绍如何使用Flink的监控功能和一些可视化工具来实现任务的实时监控。此外，Flink还支持将监控信息导出到外部系统，如InfluxDB、Prometheus等，以便进行更复杂的监控和分析。通过Zeppelin的Flink插件，我们可以创建一个交互式的数据流拓扑图。我们可以使用Grafana的模板来创建Flink的监控Dashboard，或者根据自己的需求进行定制。如有ink任务的实时监控和可视化展示。
运维监控专项学习笔记-id:1-典型监控架构的组件介绍-采集、存储、告警、可视化
文字记录时间
09-19 1588
运维监控专项学习笔记-id:1-典型监控架构的组件介绍-采集、存储、告警、可视化
守护数据江湖：大数据平台的监控与运维最佳实践
Echo_Wish
04-10 91
大数据平台的监控与运维，既是技术的博弈，也是智慧的较量。从基础设施到任务级监控，从日志分析到智能化运维，这一切的目标都是为了保障数据平台的稳定性与高效性。在实际工作中，注重细节、不断优化流程才能真正守护数据的价值。
Flink整合Prometheus Pushgetway讲解与实战操作
数据与算法架构提升之路专栏
02-09 1066
Pushgateway是Prometheus的一个组件，prometheus server默认是通过Exporter主动获取数据（默认采取pull拉取数据）
【Flink】Flink 系统监控指标
九师兄
07-03 4565
Flink Metrics指任务在flink集群中运行过程中的各项指标，包括机器系统指标：Hostname，CPU，Memory，Thread，GC，NetWork，IO 和 任务运行组件指标：JobManager，TaskManager，Job, Task，Operater相关指标。Flink提供metrics的目的有两点：Flink原生的提供了几种主流的第三方上报方式：JMXReporter，GangliaReport，GraphiteReport等，用户可以直接配置使用。Flink Metrics是通
Flink 指标监控整理
Young2018的博客
05-27 1436
https://cloud.tencent.com/document/product/248/50974
使用Flink Metric Reporter 对flink任务指标进行监控
云想慕尘的专栏
06-20 7382
从flink1.8版本开始，reporter支持了将指标数据写入influxdb，用户可以自研可视化系统读取influxdb中的数据进行可视化。 但是对中小型公司来讲，可能因为成本原因，大多并不会选择自研可视化，我们选择grafana进行flink metrics的可视化。 本文主要重点讲述influxdb、prometheus为Reporter，将flink的metrics数据写入外部系统，并使用grafana进行可视化。 安装配置方式手把手教学，如下： 1. influxdb 1.1 启动 docker
29-Flink监控
Eistert
07-06 318
Flink监控 https://blog.lovedata.net/8156c1e1.html 什么是Metrics Metrics分类 代码 package cn.itcast.metrics; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.
flink监控(updating)
大怀特的博客
03-08 1457
文章目录命令行查看指定任务Rest APIget 命令行 查看指定任务 {{ ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1580534782944_0015 }} Rest API get 返回集群配置 http://bigdatatestenv01:8088/proxy/application_1635919391152_9524/jobmanager/config 返回所有job并返回当前状态 http://
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晴天彩虹雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值