Code · Cloud · Think · Repeat

在 Flink 实时流中，经常会通过 Flink CDC 插件读取 Mysql 数据，然后写入 Hudi 中。所以在执行上述操作时，需要了解 Hudi 的基本概念以及操作原理，这样在近实时往 Hudi 中写数据时，遇到报错问题，才能及时处理。

Hudi 提供了 Hudi 表的概念，这些表支持 CRUD 操作，可以利用现有的大数据集群比如 HDFS 做数据文件存储，然后使用 SparkSQL 或 Hive 等分析引擎进行数据分析查询。

当 Flink 和 Spark 同时接入 Hive Metastore（HMS）时，用 Hive Metastore 对 Hudi 的元数据进行管理，无论是使用 Flink 还是 Spark 引擎建表，另外一种引擎或者 Hive 都可以直接查询。

可以把数据湖认为是最新一代大数据技术平台，为了更好地理解数据湖的基本架构，我们先来看看大数据平台的演进过程，从而理解为什么要学习数据湖技术。

我们在使用不同的引擎进行大数据计算时，需要将数据根据计算引擎进行适配。这是一个相当棘手的问题，为此出现了一种新的解决方案：介于上层计算引擎和底层存储格式之间的一个中间层。这个中间层不是数据存储的方式，只是定义了数据的元数据组织方式，并向计算引擎提供统一的类似传统数据库中 “表” 的语义。它的底层仍然是 Parquet、ORC 等存储格式。基于此，Netflix 开发了 Iceberg，目前已经是 Apache 的顶级项目。

本文对 avro 的格式定义、编码方式、以及实际存储的文件格式进行了详细说明，最后也以一个实际例子进行了对照说明。另外， 在官网中还涉及 rpc 的使用、mapreduce 的使用，这里就没有展开说明，有兴趣的可移步官网进行查阅。

那么从数据湖到 LakeHouse 有什么区别呢？LakeHouse 是数据湖和数据仓库的组合（可能还有很多其他意见）。LakeHouse 具有开放的数据管理架构，结合了数据湖的灵活性、成本效益和规模。与数据湖一样，它还具有数据湖表格式（Delta Lake、Apache Iceberg和Apache Hudi）提供的数据库功能。与数据湖相比，LakeHouse 具有额外的数据治理。它包括集群计算框架和 SQL 查询引擎。更多功能丰富的 LakeHouse 还支持数据目录和最先进的编排。

湖仓一体的发展经历了从数据仓库到数据湖，最终到湖仓一体的过程。传统的数仓针对的是结构化数据，面向特定的分析或者报表场景，提供标准的 SQL 与标准的服务。随着业务规模的扩大，复杂性提升，对于半结构化、非结构化的数据存储和处理的需求涌现，催生了数据湖技术的发展。数据湖是在廉价的存储系统上，使用各种工具，满足各种数据类型的业务需求。这种非标准化的处理带来了管理成本和开发成本的上升。湖仓一体顺应而生，它是基于数据服务技术开发的廉价的系统，同时能够构建结构化数据的处理能力。