Pushgateway+Prometheus监控Flink/Doris

已于 2024-05-31 16:01:28 修改
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： flink
于 2023-07-27 13:10:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/someInNeed/article/details/131957879
本文介绍了如何使用Pushgateway、Prometheus和Grafana来监控Flink和Doris。首先，通过Flink将数据推送到Pushgateway，再由Prometheus拉取数据，最后在Grafana中展示监控指标。文章详细阐述了从下载组件到配置监控的各项步骤，包括启动Pushgateway、Prometheus和Grafana，以及修改Flink配置，解决监控数据断续和时区问题，并提供了监控的关键指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

思路方案

FlinkMtrics->pushgateway->prometheus->grafnana->altermanager

方案 : Flink任务先将数据推到pushgateway。然后pushgateway将值推送到prometheus，最后grafana展示prometheus中的值，

新的考虑方案： Node.js - 1Panel 文档  一个安装全局傻瓜化运维

下载

去这个 https://prometheus.io/download/ 下载最新的 Prometheus 和 pushgateway
下载grafana 去 https://grafana.com/grafana/download?pg=get&plcmt=selfmanaged-box1-cta1

得到了
pushgateway-1.6.0.linux-amd64.tar.gz
grafana-enterprise-10.0.2-1.x86_64.rpm
prometheus-2.45.0.linux-amd64.tar.gz

rpm -i grafana-enterprise-9.0.2-1.x86_64.rpm
错误：依赖检测失败：
        fontconfig 被 grafana-enterprise-1

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink 运维监控与指标采集实战（Prometheus + Grafana 全流程）
晴天彩虹雨的博客
05-15 946
Flink运维监控在实时计算场景中至关重要，因为Flink作业需要7×24小时稳定运行，对性能、资源、故障感知和状态变化的实时监控是保障系统稳定的关键。Flink自带的Metrics系统提供了基本的监控能力，但为了更全面的监控，Prometheus+Grafana成为最主流的解决方案。通过配置PrometheusReporter和Grafana仪表盘，可以实现对Flink作业的全面监控，包括CPU、内存、吞吐量、Checkpoint状态、KafkaSink性能等关键指标。此外，自定义指标采集和报警机制的配置
cdh5.12.1 service monitor监控状态_使用Prometheus监控Flink
weixin_39760650的博客
01-04 540
这篇文章介绍了如何利用Apache Flink的内置指标系统以及如何使用Prometheus来高效地监控流式应用程序。为什么选择Prometheus？随着深入地了解Prometheus，你会发现一些非常好的功能：服务发现使配置更加容易。Prometheus支持consul，etcd，kubernetes以及各家公有云厂商自动发现。对于监控目标动态发现，这点特别契合Cloud时代，应用动态扩缩的特点...
prometheus通过pushgateway集成flink 1.16.2
IC9566的博客
12-10 1364
flink升级到1.16.2，监控配置参数变了且不兼容老版本的写法，日志不报错也没有提示
Prometheus监控Flink CDC任务
舒适边缘的博客
09-03 1514
【代码】Prometheus监控Flink CDC任务。
Prometheus监控flink
weixin_53745367的博客
12-28 1709
Prometheus通过pushgateway监控flink
Prometheus+grafana实践：Doris数据库的监控
乐维社区的博客
01-23 1353
Doris（Apache Doris）是一个现代化的MPP（Massive Parallel Processing，大规模并行处理）数据库，主要用于在线分析处理（OLAP）场景。4.Doris数据库自带metrics的接口，prometheus可以直接拿取数据，不用安装export。对于Doris数据库的架构方式分为前端和后端的方式，因此我们要分别部署前端和后端两部分。后端：BE（Backend）节点负责数据存储、查询执行和数据导入等操作。易用性：提供了类似SQL的查询接口，易于上手和使用。
Doris实战——结合Flink构建极速易用的实时数仓
爱吃辣条的博客
02-25 6844
Doris实战——结合Flink构建极速易用的实时数仓
结合 Flink/Spark 进行 AI 大数据处理（实时数据 + AI 推理的应用场景）
最新发布
晴天彩虹雨的博客
04-07 762
将 Flink/Spark 与 AI 推理服务结合，打造“流式+智能”的系统，是迈向智能化数仓的重要一步。在实际项目中，我们推荐：小规模场景先用 Spark + Batch + 模型 API 快速落地对实时性要求高的使用 Kafka + Flink + 模型微服务架构模型部署优先选择 vLLM / ChatGLM / DeepSeek 等国产适配良好的方案配合 DolphinScheduler 实现调度闭环与可视化平台管理。
数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark
晴天彩虹雨的博客
03-09 1513
本篇文章介绍了数据湖架构实时数仓设计，并通过 Kafka + Flink + Spark 构建高效的数据湖方案。未来，数据湖将在存算分离数据湖仓一体化云原生大数据分析等方向持续优化，为企业提供更高效的实时分析能力。
flink安装部署+集成doris
bewithyou729的博客
07-21 433
修改其他节点 flink-conf.yaml 中的 taskmanager.host 为对应的节点。你可以通过以下命令来检查 Java 是否已经安装正确。为了运行Flink，只需提前安装好。分发flink至集群其他节点。官网下载flink，并解压。
prometheus + pushgateway + grafana 监控 Flink
あずにゃん梓喵的博客
07-19 1241
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 1.grafana下载 https://grafana.com/grafana/download https://dl.grafana.com/oss/release/grafana-7.1.0.linux-amd64.tar.gz 2.安装 grafana tar zxvf grafana-7.1.0.linux-amd64.tar.gz .
【Doris】Prometheus+Grafana监控Doris
m0_54252387的博客
07-19 4918
DorisDB提供两种监控报警的方案，第一种是使用内置的DorisManager，其自带的Agent从各个Host采集监控信息上报到Center Service然后做可视化展示，也提供了邮件和Webhook的方式发送报警通知。但是如果用户为了二次开发需求，需要自己搭建部署监控服务，也可以使用开源的Prometheus+Grafana的方案，DorisDB提供了兼容Prometheus的信息采集接口，可以通过直接链接BE/FE的HTTP端口来获取集群的监控信息。如果采购DorisDB企业版，则提供DorisM
基于grafana+prometheus构建Flink监控
weixin_30449239的博客
09-02 511
先上一个架构图 Flink App ： 通过report 将数据发出去 Pushgateway : Prometheus 生态中一个重要工具 Prometheus :一套开源的系统监控报警框架 （Prometheus 入门与实践） Grafana：一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知（可视化工具Grafana：简...
prometheus监控Flink(一)
lvwenyuan_1的博客
11-06 5783
目前Flink监控常用的手段有基于prometheus或者influxDB，还有就是基于rest api的。这里主要说的是基于prometheus的。附上官网的地址https://ci.apache.org/projects/flink/flink-docs-release-1.9/monitoring/metrics.html#prometheuspushgateway-orgapachef...
【运维监控】Prometheus+grafana监控flink运行情况
热门推荐
alanchanchn的专栏
09-11 2万+
通过flink自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
Flink(Pometheus监控)
S1124654的博客
08-08 3625
Flink(Pometheus监控)
使用Prometheus监控Flink
qq_40907977的博客
07-30 2460
为什么选择Prometheus？ 随着深入地了解Prometheus，你会发现一些非常好的功能： •服务发现使配置更加容易。Prometheus支持consul，etcd，kubernetes以及各家公有云厂商自动发现。对于监控目标动态发现，这点特别契合Cloud时代，应用动态扩缩的特点。我们无法想象，在Cloud时代，需要运维不断更改配置。 •开源社区建立了数百个exporter。基本上涵盖了所有基础设施和主流中间件。 •工具库可从您的应用程序获取自定义指标。基本上主流开发语言都有对应的工具库。 •它是.
prometheus + grafana 对flink 进行监控
lg4546的专栏
05-24 1107
一：flink监控简介 Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等， 开发人员无法实时查看所有的Task日志， 比如作业很大或者有很多作业的情况下，该如何处理？此时Metrics可以很好的帮助开发人员了解作业当前状况。 对于很多大中型企业来讲，我们对进群的作业进行管理时，更多的是关心作业精细化实时运行状态。例如，实时吞吐量的同比环比、整个集群的任务运行概览、集群水位，...
针对Spak、Flink、Doris的优化进行细致的描述
03-08
1. 资源监控：Ganglia/Prometheus 观察CPU/内存/网络指标 2. 性能分析：Spark UI/Flink Web UI/Doris Profile 分析执行计划 3. A/B测试：新旧配置对比TP99延迟、吞吐量等核心指标 建议根据具体场景组合使用优化策略...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值