Big Data for AI实践：面向AI大模型开发和应用的大规模数据处理套件

作者：夕陌，临在，熊兮，道辕，得水，施晨

随着人工智能技术的快速发展，大模型在各个领域的应用日益广泛。大模型能够更好地模拟人类的认知能力，大幅提升机器在复杂任务上的表现。然而，不断增长的模型参数规模使得数据集的复杂度也不断上升，数据质量更直接影响模型的准确性和可靠性。本文叙述的 Big Data for AI 最佳实践，基于阿里云人工智能平台PAI、MaxCompute自研分布式计算框架MaxFrame、Data-Juicer等产品和工具，实现了大模型数据采集、清洗、增强及合成大模型数据的全链路，解决企业级大模型开发应用场景的数据处理难题。

Data-Juicer是通义实验室和PAI共建的开源数据处理工具。它提供了丰富的数据处理算子、高效并行化的数据处理流水线，支持数据预处理、可视化、数据评估等各项能力。还为不同背景的用户提供了开箱即用的组件和丰富的数据配方。此外，Data-Juicer与MLLM和分布式计算生态系统无缝集成，以实现高效且可扩展的数据处理。

MaxFrame是MaxCompute自研的分布式计算框架，为MaxCompute提供了一套完整的Python开发生态，为大规模数据分析和机器学习任务提供了极佳的灵活性。数据科学家和数据工程师可利用MaxCompute的海量计算资源对数据进行大规模处理分析、可视化探索、科学计算，以及传统ML开发等工作。

阿里云人工智能平台PAI是是面向开发者和企业的机器学习/深度学习工程平台，提供AI开发全链路服务，为用户提供低门槛、高性能的云原生AI工程化能力。PAI的数据处理工具提供了一套全方位、覆盖多领域的解决方案。充分利用深度学习集群（DLC）和MaxCompute的分布式能力和资源，结合Ray、UDF和MaxFrame等底层框架，基于DataJuicer丰富的算子，为用户提供了开箱即用的组件和丰富的数据配方，能够高效且灵活地处理复杂数据任务，使得快速上手和简化流程成为可能。

PAI大模型数据处理套件架构概览：

image.png

自底向上：

• 云资源：资源层是整个架构的基础，PAI大模型数据处理套件同时支持DLC（深度学习集群）和MaxCompute集群，为上层应用提供强大的计算和存储能力。
• 引擎框架：
  • DLC集群：支持Ray自动化部署，可以进行大规模数据的并行处理，提升数据处理效率。
  • MaxCompute集群：利用UDF算子和MaxFrame框架，依托MaxCompute的强大计算和存储能力，满足特定业务需求。
• 算子底座：DataJuicer提供了丰富的数据处理算子和高效的并行处理流水线，提供了全面的数据处理能力。我们以DataJuicer作为基石，进行算子改造，适配DLC和MaxCompute的分布式能力，进一步加速处理效率。
• 产品：PAI-Designer 提供了用户友好的工具和界面，用户可以自定义工作流对数据安全、数据脱敏、数据增强等组件进行任意编排。我们同时与百炼合作，这些组件也作为百炼数据处理的底层工具为用户提供数据处理服务。
• 解决方案：利用PAI的产品工具集，提供涵盖多个应用场景的解决方案，如文生图/视频、图片/视频理解、CT、SFT和RAG等。旨在简化整个数据处理流程。帮助用户快速上手。每个解决方案都是为特定领域的应用需求而设计的，用户可以根据自身需求选择适合的解决方案，满足多样化的业务需求。

Data-Juicer

image.png

Data-Juicer 是一个由通义实验室主导，PAI深度参与共建的一站式开源数据处理系统，旨在为多模态大语言模型（MLLMs）提供更高质量、更丰富、更易“消化”的数据，提供超过 100 个内置多功能算子和可插拔工具。通过模块化协同、灵活组合和弹性扩展，Data-Juicer 可以应对 MLLM 数据处理的异质需求，包括但不限于分析、清洗、合成和混合。 Data-Juicer 为各种背景的用户优化了可用性，包括提供开箱即用的底层组件，支持数据菜谱可配置，以及为 MLLM 预训练和后调优预置丰富的、效果证明过的数据菜谱。经过了多方面的系统性能优化， Data-Juicer 与 MLLM 和分布式计算的大量生态基建无缝集成，以支持高效且可规模化扩展的大模型数据处理。

image.png

此外， Data-Juicer 提供了一个定制化的中间层套件，“沙盒实验室”，来支持便捷的多模态大模型 “数据-模型协同开发”。它提供了灵活的实验平台，在 Data-Juicer 已有的数据处理能力之上，沙盒实验室持续集成多模态大模型的先进开源基建，提供数据和模型多维度的反馈循环。通过该套件，研发人员能在端到端工作流、典型开发行为、底层开发能力之间便捷组合，快速迭代小规模洞察，提高数据处理和