如何用OceanBase与DataWorks，打造一站式的数据集成、开发和数据服务

导语：在OceanBase 2024年开发者大会的技术生态论坛上，阿里云DataWorks团队的高级技术专家罗海伟，详细阐述了一站式大数据开发治理平台DataWorks的能力，并对于如何基于OceanBase和Dataworks构建一站式数据集成、开发以及数据服务进行了深入探讨。本文为演讲的精华内容整理。

DataWorks概要

DataWorks是一站式智能化数据开发与治理平台，支持 MaxCompute/Hologres/AnalyticDB/E-Mapreduce/CDH/CDP 等大数据引擎，为企业构建现代数据仓库、数据湖以及湖仓融合数据架构提供数据平台产品解决方案。

作为阿里巴巴大数据平台建设者，DataWorks 从 2009 年起不断沉淀阿里巴巴大数据建设方法论并产品化，同时与数万家政务、金融、零售、互联网、能源、制造等阿里云客户携手，助力企业数字化升级。目前，DataWorks平台云上日调度任务实例数已超过1700万+。

下图是DataWorks产品模块架构，可以看到，最下面的计算存储引擎层已经包含了对OceanBase的支持。在计算存储引擎之上是数据集成模块，这个模块主要解决数据孤岛问题，比如我们的数据存储在各种异构存储、异构网络中，我们需要把这些数据按照特定的同步策略汇总到数据仓库中，这样才能做后续的数据分析和挖掘。目前，数据集成模块每日同步数据量超过10PB+。

更上一层的数据治理模块中，数据开发是一项重要基础功能，我们在数据开发中可以通过图形化的方式配置数据加工ETL工作流，并且配置工作流调度，配置监控和执行运维。在数据开发上层，有完善的数据治理体系，保证ETL工作流数据安全可靠，并降低数据使用成本。