数据湖（六）：Hudi与Flink整合

最新推荐文章于 2025-06-16 22:04:42 发布
最新推荐文章于 2025-06-16 22:04:42 发布
阅读量2.3k 收藏 19
点赞数 19
CC 4.0 BY-SA版权
分类专栏： 数据湖基础+湖仓一体电商项目 文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/125107451
本文介绍了如何在Hudi 0.8.0版本与Flink 1.12.x版本上进行整合，强调了在整合过程中需要开启checkpoint，并且指出在执行过程中遇到的两个错误：AbstractMethodError和HoodieException。提供了maven pom.xml中导入的包信息以及Flink写入Hudi数据的基本代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Hudi与Flink整合

一、maven pom.xml导入如下包

二、Flink 写入数据到Hudi代码

Hudi与Flink整合

Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoint，至少有5次checkpoint后才能看到对应hudi中的数据。

但是应该是有一些问题，目前问题如下：

  • 在本地执行Flink代码向Flink写数据时，存在“java.lang.AbstractMethodError: Method org/apache/hudi/sink/StreamWriteOperatorCoordinator.notifyCheckpointComplete(J)V is abstract”错误信息，预计是hudi版本支持问题。
  • 写入到Flink中的数据，如果使用Flink读取出来，会有对应的错误：“Exception in thread "main" org.apache.hud
了解本专栏 订阅专栏 解锁全文
CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi
Laurence的技术博客
02-20 1194
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈，架构上也比较简单，适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案，请参考
数据湖（四）：Hudi与Spark整合
Lansonli（蓝深李）的博客
05-29 2886
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下: Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本 Spark2.4.8使用的Scala版本是2.12版本，虽然2.11也是支持的，建议使用2.12
Hudi系列10:Flink流式插入
只是甲的博客
01-31 863
Flink 流式插入
Hudi 集成 Hive
雾岛与鲸的博客
03-07 5277
环境: hudi 0.10.1 spark 2.4.5 hive 2.3.7 hadoop 2.7.5 1、建表并插入数据 hudi会自动创建表，也可以提前建表: CREATE EXTERNAL TABLE `member_rt`( `_hoodie_commit_time` string, `_hoodie_commit_seqno` string, `_hoodie_record_key` string, `_hoodie_partition_path` string, `_hood
FlinkCDC-Hudi数据实时入湖原理篇
最新发布
涤生大数据
06-16 789
面对海量数据开发场景，一种支持存储多种原始数据格式、多种计算引擎、高效的元数据统一管理的存储方式能极大的提高开发效率。
Flink，Hudi集成，Flink Sql和Hive Client端
xuye0606的博客
05-28 616
Hudi数据，Flink SQL、Spark SQL、Hive SQL同时进行读写
flink13.5整合hudi10
wudonglianga的专栏
02-07 1934
1. 版本 组件 版本 hudi 10.0 flink 13.5 2.hudi 源码下载 https://github.com/apache/hudi/releases 2.1 需要改flink 版本为13.5 根目录下面的pom 文件 <flink.version>1.13.5</flink.version> <hive.version>3.1.0</hive.version> <hadoop.version>3.1.
Flink DataStream读写Hudi
Johnson8702的博客
04-14 2147
测试案例中，pom依赖如下，根据需要自行删减。
数据湖（六）：Hudi 与 Flink 整合
wr_java的博客
04-10 488
Hudi0.8.0 版本与 Flink1.12.x 之上版本兼容，目前经过测试，Hudi0.8.0 版本开始支持 Flink，通过 Flink 写数据到 Hudi 时，必须开启 checkpoint，至少有 5 次 checkpoint 后才能看到对应 hudi 中的数据。
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-01 2293
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，消息经 Fli
Flink1.12.2集成hudi0.9.0+同步hive实践
dudu146863的博客
09-07 5037
目录 一、组件下载 二、Batch模式实施步骤： 2.1 启动flink-sql客户端 2.2 创建表 2.3插入数据 2.4 根据主键更新数据 三、stream模式实现步骤： 3.1 创建表 3.2从批模式写入一条数据 3.3隔几秒后在流模式可以读取到一条新增的数据 四.Hive 同步 4.1 hudi编译： 4.2. Hive 环境准备 1.启动hive元数据 2.在 Hive 服务器导入 Hudi 包 4.3. Hive 配置模版 3.1源表的建表语句: 3.1..
flink整合hudi和minio
代码天空的博客
06-06 409
flink整合hudi +minio
重磅！解锁Apache Flink读写Apache Hudi新姿势
xleesf
04-10 1272
欢迎关注微信公众号：ApacheHudi 1. 背景 Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics 集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景；AWS 在 EMR 服务中 预安装 了 Apache Hudi，为用户提供高效的 record-level updates/deletes 和高效的数据查询管理；Uber 已经稳定运行 Apache Hudi 服务 4 年多，提供了 低延迟的数据库同步和高效率的查询。自 201
Hudi系列11:Flink CDC 将MySQL的数据写入Hudi
只是甲的博客
02-01 903
Flink CDC 实时将MySQL数据写入到Hudi
使用flink插入数据到hudi数据湖初探
从大数据到人工智能的博客
09-17 1044
环境： hadoop 3.2.0 flink 1.11.4-bin-scala_2.11 hudi 0.8.0 本文基于上述组件版本使用flink插入数据到hudi数据湖中。为了确保以下各步骤能够成功完成，请确保hadoop集群正常启动。 确保已经配置环境变量HADOOP_CLASSPATH 对于开源版本hadoop，HADOOP_CLASSPATH配置为： export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop
FusionInsight MRS Flink DataStream API读写Hudi实践
华为云官方博客
11-14 2455
目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。1.HoodiePipeline.java 将Hudi内核读写接口进行封装，提供Hudi DataStream API。1）HoodiePipeline.java ，该类将Hudi内核读写接口进行封装，提供Hudi DataStream API。2）WriteIntoHudi.java ，该类使用 DataStream API将数据写入Hudi。
Hudi on Flink上手使用总结
penriver的博客
09-30 1279
解决问题 hudi 基于 mini-batch 的增量计算模型可以提升部分场景的时延、节省计算成本。 随着流计算和实时数仓的普及，Hudi 社区也在积极的拥抱变化，通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进：在 0.7 版本引入了流式数据入湖，在 0.9 版本支持了原生的 CDC format。 hudi编译 环境：flink 1.13.2， YARN 3.1.1 git clone https://github.com/apache/hudi.git && c
30分钟掌握沧湖一体化：flink+hudi（干货，建议收藏）
麒思妙想
09-22 7846
在《如何利用 Flink CDC 实现数据增量备份到 Clickhouse》里，我们介绍了如何cdc到ch，今天我们已久使用前文的案例，来sink到hudi，那么我们开始吧。 hudi 简介 Apache Hudi(发音为“Hoodie”)在DFS的数据集上提供以下流原语 插入更新 (如何改变数据集?) 增量拉取 (如何获取变更的数据?) Hudi维护在数据集上执行的所有操作的时间轴（timeline），以提供数据集的即时视图。Hudi将数据集组织到与Hive表非常相似的基本路径下
数据湖技术之 Hudi 集成 Flink
数字人生
09-29 1518
Flink集成Hudi时，本质将集成jar包：hudi-flink-bundle_2.12-0.9.0.jar，放入Flink 应用CLASSPATH下即可。Flink SQLConnector支持Hudi作为Source和Sink时，两种方式将jar包放入CLASSPATH路径：● 方式一：运行Flink SQL Client命令行时，通过参数【-j xx.jar】指定jar包● 方式二：将jar包直接放入Flink软件安装包lib目录下【$FLINK_HOME/lib】
全面掌握数据湖技术：Apache Hudi深度解析
资源摘要信息:"数据湖：Apache Hudi.zip" 1. 数据湖概念及重要性 数据湖是一个存储企业的大量原始数据的系统，这些数据可以在格式、大小和来源上是多样化的。数据湖旨在实现低成本存储和快速的数据访问，并支持对...
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值