从数据仓库到数据湖(下)：热门的数据湖开源框架

一、前言

在上一篇从数据仓库到数据湖(上)：数据湖导论文章中，我们简单讲述了数据湖的起源、使用原因及其本质。本篇文章将着重介绍市面上热门的数据湖开源框架，并分享笔者对当前数据湖技术的理解和看法。

截至目前，在数据湖领域，Delta Lake、Apache Iceberg 和 Apache Hudi 无疑是三大热门开源框架。此外，Apache Paimon 最初是 Flink 的子项目，后来独立发展成为一个独立的框架，可以说是后起之秀。

二、Delta Lake

由于 Apache Spark 在商业化上取得巨大成功，由其背后的商业公司 Databricks 推出的 Delta Lake 也显得格外亮眼。Delta Lake 是一个流批一体的数据湖存储层，支持更新、删除和合并操作。

主要特点：

• 由于出自 Databricks，Delta Lake 与 Spark 的所有数据写入方式完全兼容，包括基于 DataFrame 的批处理、流处理，以及 SQL 的 Insert、Insert Overwrit