Flink流批一体作业管理平台

原创

已于 2024-03-19 19:12:28 修改 · 1.3k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #数据仓库

于 2024-03-16 23:59:05 首次发布

本文介绍了如何通过优化的流批一体作业管理平台，针对Flink+Hudi任务进行管理和自动化操作，包括一键离线Compaction和Clustering任务，降低Hadoop集群权限要求，提升大数据处理效率和数据质量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

随着大数据处理需求的不断增长，流批一体作业管理平台的重要性愈发凸显。本文将介绍如何针对 Flink + Hudi 流批一体任务进行管理，特别针对 Hudi 任务的需求，支持一键启动离线 Compaction 和 Clustering 任务，保证数据湖的稳定运行。
在这里插入图片描述

背景

在大数据处理领域，简化作业的提交、监控和管理是一项重要的任务。调研过程中发现，现有的开源系统如 Dinky 和 StreamPark 在任务生成和监控方面存在一定局限性。它们使用了 Flink 或 YARN 源码中的 API，如 org.apache.hadoop.yarn.client.api.YarnClient 、 org.apache.hadoop.hdfs.DistributedFileSystem 等，导致系统与 Hadoop 集群和 Flink 客户端版本之间耦合度高，Hadoop集群使用权限要求较高。

系统开发

基于项目 flink-streaming-platform-web 进行开发，通过优化和功能扩展（如：对使用FlinkSQL操作Hudi表的支持），构建了一个无侵入性、与 Hadoop 集群和 Flink 客户端版本解耦的流批一体作业调度平台。只需在装有 Flink 客户端的机器上启动系统，即可轻松使用，所有任务均使用 Flink 自带的命令进行提交，如：