【Flink】状态后端（1.13版本之前适用）

已于 2022-12-07 17:16:08 修改
阅读量939 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink实战 文章标签： flink 大数据 big data
于 2022-06-04 15:34:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/125121212
本文介绍了Flink在1.13版本之前的三种状态后端：MemoryStateBackend、FsStateBackend和RocksDBStateBackend。MemoryStateBackend适合开发调试，FsStateBackend可将状态保存在TaskManager内存及HDFS，适合生产环境。RocksDBStateBackend利用RocksDB数据库存储大量状态，适用于大规模作业。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink为什么越来越受欢迎，在大数据领域计算容错很重要，Flink计算容错手段之一就是checkpoint机制，会把数据保存在CheckPoint中，数据会随着 CheckPoint 而持久化，以防止数据丢失、保障恢复时的一致性，那么CheckPoint到底保存在哪里呢？答案是状态后端中。

在flink1.13版本之前状态后端有三种

  • MemoryStateBackend    开发时使用
  • FsStateBackend     生产时使用
  • RocksDBStateBackend   生产时使用

MemoryStateBackend：（状态保存在内存中，实际上保存在Flink的JobManager中，如果不设置默认以这种方式保存，一般用作程序开发调试,不能再生产环境使用）

FsStateBackend：（将正在运行中的状态数据保存在 TaskManager 的内存中，CheckPoint 时，将状态快照写入到配置的本地文件或者HDFS中，可在生产环境中把状态后端设置为存储HDFS上防止状态丢失，适用于状态比较大，窗口比较长、key/value 状态比较大的 Job）

实际在代码中使用如下，红色的部分可为”hdfs://namenode:40010/flink/checkpoints” 或 “file:///data

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】状态后端（1.13版本及大于1.13版本适用）
一杯咖啡半杯糖的博客
06-05 1247
Flink状态后端（1.13版本及大于1.13版本适用）
Flink 1.13 新版状态后端 StateBackend 详解
SmartSi
09-30 1273
在 Flink 1.13 版本之前，StateBackend 提供了三个开箱即用的 StateBackend：MemoryStateBackend、FsStateBackend 以及 RocksDBStateBackend。该版本下的 StateBackend 把状态存储(如何在 TM 上本地存储和访问状态)和 Checkpoint 持久化(Checkpoint 如何持久化状态)笼统的混在一起，导致初学者对此感觉很混乱，很难理解。
Flink状态后端-Memory/Fs/RockDB
someInNeed的博客
08-12 1370
纠正一个常见的误区：认为RocksDB是一个需要在集群上运行并由专门管理员管理的分布式数据库，是错误的。RocksDB是一个用于快速存储的可嵌入持久化键值存储。它通过Java Native接口（JNI）与Flink进行交互。
Flink之状态后端（StateBackends）
蔡政洁的博客
04-04 1374
目录（1）状态后端的分类（2）配置状态后端 每传入一条数据，有状态的算子任务都会 读取和更新状态 。由于有效的状态访问对于处 理数据的低延迟至关重要，因此每个并行任务(子任务)都会在本地维护其状态，以确保快速 的状态访问。 状态的存储、访问以及维护，由一个 可插入 的组件决定，这个组件就叫做 状态后端 （state backend） 状态后端主要负责两件事： 本地的状态管理 将检查点（checkpoint）状态写入远程存储 （1）状态后端的分类 状态后端作为一个可插入的组件, 没有固定的配置, 我们可以
Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
专注大数据、实时计算、程序员成长、经验分享和排坑经历
02-25 1497
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
Flink State backend状态后端
奔跑的蜗牛的博客
01-25 812
Flink在v1.12到v1.14的改进当中，其状态后端也发生了变化。老版本的状态后端有三个，分别是MemoryStateBackend、FsStateBackend、RocksDBStateBackend，在flink1.14中，这些状态已经被废弃了，新版本的状态后端是 HashMapStateBackend、EmbeddedRocksDBStateBackend。
Flink状态后端
03-27
需要注意，在 Flink 1.13 版本之前，`StateBackend` 的设计较为复杂，既涉及状态存储又混合了 Checkpoint 持久化的概念，容易让初学者感到困惑[^2]。而在后续版本中，官方逐步优化了这一部分的设计，使得 API 更加...
【Flink】Flink 1.13版本升级到Flink 2.0.0版本需要修改哪些地方
最新发布
07-30
需要检查 `flink-conf.yaml` 文件中涉及的状态后端、检查点路径、高可用性配置等，并根据新版本的配置格式进行调整。 ```yaml # Flink 1.13 的状态后端配置 state.backend: filesystem state.checkpoints.dir: file...
Flink的状态后端（State Backends）
程序人生
08-03 1017
MemoryStateBackend 和 FsStateBackend 都是在内存中进行状态管理，所以可以获取较低的读写延迟，但会受限于TaskManager的内存大小；而RocksDBStateBackend直接将State存储到RocksDB数据库中，所以不受JobManager的内存限制，但会有读写延迟，同时 RocksDBStateBackend 支持增量备份，这是其他两个都不支持的特性。一般来说，如果不是对延迟有极高的要求，RocksDBStateBackend是更好的选择...
Flink 状态后台
qq_27242695的博客
06-30 408
文章目录Flink 状态后台 Flink 状态后台
Flink--状态后端
shall潇の菜园
07-19 4894
文章目录一、是什么三、如何用 一、是什么 再讲状态后端是什么之前，我要说一句：Flink中状态（State）是什么？ 看一下官网怎么说 状态后端： 状态都需要存储到状态后端(StateBackend)，然后在checkpoint触发时，将状态持久化到外部存储系统。Flink提供了三种类型的状态后端，分别是基于内存的状态后端(MemoryStateBackend)、基于文件系统的状态后端(FsStateBackend)以及基于RockDB作为存储介质的RocksDB StateBackend。 简而言之
flink的状态后端介绍
weixin_41998764的博客
09-28 2663
状态后端状态后端可用的状态后端HashMapStateBackendEmbeddedRocksDBStateBackend选择正确的状态后端配置状态后端（单个作业）配置默认状态后端RocksDB状态后端详述增量CP内存管理RocksDB的内存管理 状态后端 使用DataStream API实现的程序一般都在下面的场景管理使用状态： 窗口时间触发时刻的元素聚合操作 转化方法中可能使用``key/value`状态接口去存储对应的值 转化方法中可能实现``CheckpointedFunction`接口去实现自己
Flink - 状态后端
weixin_40968325的博客
04-29 1818
本文主要介绍了flink的状态后端
Flink的状态后端(State Backends)
淡定一生2333的博客
06-30 9284
一、前言 Flink提供不同的状态后端（State Backend）来区分状态的存储方式和存储位置。Flink状态可以存储在java堆内存内或者内存之外。通过状态后端的设置，Flink允许应用持有大容量的状态。开发者可以在不改变应用逻辑的情况下设置状态后端。 二、可用的State Backend Flink提供三种开箱即用的State Backend： MemoryStateBackend FsStateBackend RocksDBStateBackend 2.1...
Flink---12、状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
星光不问赶路人，岁月不负有心人
10-08 2340
状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
4.1.23 Flink-流处理框架-Flink中的状态管理之状态后端
敲代码的乔帮主
03-10 422
目录 1.状态后端是什么？ 2.状态后端的类型 3.配置状态后端 3.1 配置文件 3.2 代码中针对单独job，设置状态后端 1.状态后端是什么？ 每传入一条数据，有状态的算子任务都会读取和更新状态，由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问。状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端(state backend)。 状态后端主要负责两件事：1）本地的状态管理；2）...
大数据—— Flink 状态后端（State Backends）
热门推荐
Vicky_Tang
08-28 1万+
由于有效的状态访问对于处理数据的低延迟只管重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问。 状态的存储、访问以及维护，有一个可插入的组件决定，这个组件就叫做状态后端（State Backends） 状态后端主要负责两件事： 本地的状态管理 将检查点（checkpoint）状态写入远程存储 Flink 提供的状态后端： MemoryStateBackend：内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在 TaskManager 的 JVM 堆上，而将 chec
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值