【Flink on k8s】- 13 - Flink kubernetes operator 版本升级

已于 2023-12-06 16:38:30 修改
阅读量737 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Apache Flink Flink kubernetes operator 文章标签： flink kubernetes 大数据
于 2023-09-13 18:23:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/132860956
本文档详细介绍了如何在生产环境中将Flink Kubernetes Operator从1.4.0版本升级到1.6.0版本，包括检查当前版本、停止运行的Flink作业、升级CRD、恢复作业以及验证作业正常运行的步骤。

目录

1、检查当前 flink kubernetes operator 版本

 2、停止生产上正在运行的 flink job

3、升级 CRD

3.2 执行升级命令，即可升级 CRD

3.3 检查升级后的 flink kubernetes operator 版本

4、恢复已停止的作业

5、检查作业是否正常运行

1、检查当前 flink kubernetes operator 版本

说明：本示例将 flink kubernetes operator 1.4.0 升级至 1.6.0

通过命令获取当前环境中的 flink kubernetes operator 版本：

$  helm ls --namespace ns-flink-operator

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink进阶】-- Apache Flink Kubernetes Operator 1.6.0发布公告
欢迎来到我的博客，一起探索代码里的世界！
08-21 224
的一部分，Flink 1.18 引入了一个新的端点，允许用户通过 REST API 重新缩放运算符（作业顶点）。我们已将操作员使用的 Flink 客户端库升级到 1.17.1 版本，由于 flink-kubernetes 模块 shading 的改进，这大大简化了构建和打包工作。例如，用户可以为 Flink 1.18 设置不同的默认配置（默认启用自适应调度程序）。1.6.0 对回滚机制进行了多项核心改进，以充分利用强大的升级流程，并涵盖更广泛的故障情况。该版本，并通过 Flink。）时，就地扩展才可用。
【Flink on k8s】- 9 - 本地部署 Flink kubernetes operator
欢迎来到我的博客，一起探索代码里的世界！
08-11 1112
flink kubernetes operator 版本： 1.4.0helm 版本： 3.1.0flink kubernetes operator 支持的 Flink 版本：v1.13, v1.14, v1.15, v1.16。
k8s中flink-operator版本升级
最新发布
weixin_40448605的博客
04-07 176
kubectl edit deployment -n {命名空间} flink-operator-xxx。、kubectl get pod -n {命名空间} | grep flink-operator-xxx。、kubectl logs -n {命名空间} flink-operator-hd-xxx。三、检查（检查操作是否生效、组件或主机是否正常、检查运行日志）状态是否正常，日志有无报错。
Flink Kubernetes Operator
王小工小工历程
10-17 1663
Flink Kubernetes Operator是一个用于在Kubernetes集群上管理Apache Flink应用的工具。
【Flink on k8s】 -- flink kubernetes operator 1.7.0 发布
欢迎来到我的博客，一起探索代码里的世界！
12-12 699
Flink 官方博客于 2023-11-22 发布了 flink kubernetes operator 1.7.0 发布的消息。这个版本对自动缩放进行了大量的改进，包括与 Kubernetes 的完全分离，以便在未来支持更多的 Flink 环境。
【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023
欢迎来到我的博客，一起探索代码里的世界！
03-22 1060
Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。
Flink On K8s实践2:Flink Kubernetes Operator安装使用
homeofcm的专栏
04-10 2343
Apache Flink是当下主流了流式计算引擎，在企业的实时数仓、实时BI、数据湖、智能推荐和风险风控等场景中有广泛的应用。Apache Flink支持多种Resource Providers，也就是可以在多种资源平台上运行，本系列文章以当前热门的容器平台Kubernetes作为Flink的Resource Proivder，全面讲解如何在Kubernetes平台上以Flink Kubernetes Operator的方式运行Flink作业应用。
flink on k8s部署--kubernetes operator方式&Application Mode方式(附构建flink镜像Dockerfile)
Sword_Zhao的博客
04-17 2051
本次部署方案采用flink on k8s，部署方式是flink-kubernetes-operator，部署flink-kubernetes-operator需要helm。我这里使用的是jdk1.8和flink1.13，或者用docker镜像执行flink命令。我使用的是flink1.13，其他版本类似，在docker hub中查询自己所使用版本的基础镜像即可。需要kubernetes version>=1.6，flink version>=1.13。登陆数据库检查产出情况。
【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业
欢迎来到我的博客，一起探索代码里的世界！
12-06 500
【代码】【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业。
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性...
【Flink基础】-- Flink CDC介绍
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
03-25 2万+
一、Flink CDC 是什么？ 2020年 Flink cdc 首次在 Flink forward 大会上官宣，由Jark Wu & Qingsheng Ren 两位大佬介绍，原始 blog 点击链接。 Flink CDC connector 可以捕获在一个或多个表中发生的所有变更。该模式通常有一个前记录和一个后记录。Flink CDC connector 可以直接在Flink中以非约束模式（流）使用，而不需要使用类似 kafka 之类的中间件中转数据。 ...
[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群
欢迎来到我的博客，一起探索代码里的世界！
05-16 9756
1 前言 1.1 概览 Stateful Computations over Data Streams(数据流的状态计算) Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 在这里，我们解释了Flink架构的重要方面。 处理无界和有界数据 任何类型的数据都是作...
【Flink 基础】-- 如何设置 TaskManager、Solt和 Parallelism
欢迎来到我的博客，一起探索代码里的世界！
02-19 5078
一、概念理解 solt：把 slot 看做 cpu 的核一个slot一可以并行跑很多作业 并发度：一个算子有多少个运行实例 关系： slot数 = 最大并发度、一个slot一可以同时运行不同算子的一个实例 二、参数设置说明  计算 TaskManager 数量: 50/4 = 13 ， 13个TM一共可以提供13*4=52 个 slot。最大并发是50，只占了 50 slot，还剩下...
[Flink 学习] -- 编译 CDH-6.3.0 版本的 Flink 1.9.0
欢迎来到我的博客，一起探索代码里的世界！
10-17 4907
前言 由于 Apache Flink 的开源二进制包未提供 HDP、MapR和 CDH 的下载，所以，如果要兼容基于这些厂商的库编译 Apache Flink。本文主要介绍使用 CDH 的库进行编译 Apache Flink 1.9.0，希望对读者有所帮助。 内容 1、环境 Jdk 1.8、macOS10.14.6、Maven 3.6.2和Scala-2.11....
【Flink基础】-- 写入 Kafka 的两种方式
欢迎来到我的博客，一起探索代码里的世界！
04-20 4512
方式一：用 Robin 的方式写入 Kafka 1、实现 exactly-once 语义的 kafka sink，用 Robin 的方式写入 Kafka 2、randomRobin: 创建 FlinkKafkaProducer 时，指定空的 customPartitioner，flink 会把 一个 sink subtask 的数据以 round-robin 方式写入 kafka 的各个分区 ...
[大数据面试]-- 5.Flink 题目
欢迎来到我的博客，一起探索代码里的世界！
08-05 3985
========= 基础 ========= 1、Flink 的 抽象层次有几种 Stateful stream processing Core API Table SQL 2、Window 类型 (1)TimeWindow Tumbling Window(滚动窗口) Sliding Window(滑动窗口) Session Window(会话窗口) Global Wi...
[Flink课程]---- 2.2 DataSet API & DataStream API & Table & SQL API 的对比
欢迎来到我的博客，一起探索代码里的世界！
12-22 2614
说明 本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。 内容 一、Flink 的技术栈 图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html 注意 Table API & SQL 统一了 DataStre...
[Flink基础]---- Flink学习规划（初级）
欢迎来到我的博客，一起探索代码里的世界！
09-26 2101
都言：“光说不练假把式”，但个人觉得打牢基础是非常必要的！适当通过 ”理论 + 实践 “ 的结合，可能效果更好！一直唠嗑着要好好学学 Flink，也没有系统地去弄，这次来真的了。 Apache Flink 学习目录 1、Flink 介绍 1.1 关于Apache Flink 1.2Flink 和 Spark 的对比 1.3怎样在Flink社区做贡献 1.4 Flink ...
【Flink】-- flink新版本发布：v2.0-preview1
欢迎来到我的博客，一起探索代码里的世界！
11-13 1887
Apache Flink 社区已于2024-10-23发布了 Flink 2.0版本，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈。Flink 2.0 preview 版，而不是 stable 版本，所以请不要应用于生产环境。
YuniKorn优化Flink-on-K8s调度：现状、挑战与未来
本文主要探讨了YuniKorn如何优化Flink在Kubernetes(K8s)上的运行效率，以及Flink在K8s环境中的现状、挑战与未来的发展方向。 Flink on K8s现状： 目前，Flink在K8s上的部署包括JobManager和TaskManager两个关键组件...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值