产品架构 - NineData.pdf

NineData 提供了一套分布式、易扩展、高可靠、多租户的产品架构，产品架构图如下。整个产品架构分为五层： 接入层：用户交互层，提供数据管理的任务创建、管理及运维等。主要以交互式控制台的形式提供服务。 功能引擎层：负责具体的数据管理工作。包含 DevOps、查询引擎、备份引擎、同步引擎、对比引擎及调度引擎。各引擎的能力详情，请参见引擎介绍。 核心组件层：公共层组件，服务于上层功能引擎，提供日志解析、数据转换及数据存储引擎等能力。 数据安全层：提供覆盖数据全生命周期，贯穿数据管理过程的数据安全防护能力。组件包含细粒度权限管控、敏感数据管理及脱敏、数据加密及安全操作审计。 数据源连接层：负责为上层引擎提供多种数据源的连接访问。 NineData 是一款强大的数据管理平台，其产品架构设计精良，具有分布式、可扩展、高可靠性和多租户的特点。整个架构分为五个层次，每个层次都有特定的功能和作用，共同构建了一个高效的数据管理生态系统。 接入层是用户与NineData交互的界面，主要通过交互式控制台提供数据管理任务的创建、管理和运维。这一层确保用户能够方便地进行各种操作，如设定任务、监控进度和执行维护工作。 接下来，功能引擎层是数据管理的核心，包括多个引擎，如DevOps、查询引擎、备份引擎、同步引擎、对比引擎和调度引擎。DevOps引擎支持SQL请求的权限验证和敏感数据的动态脱敏，实现企业级的数据库协作变更。查询引擎则接收用户的SQL请求，为用户提供数据查询服务。调度引擎则是平台资源和任务的管理者，根据集群状况动态调整资源分配，确保任务在最合适的节点上执行，异常时自动调度至健康节点，保证任务稳定性。 备份引擎处理备份和恢复任务，实时更新任务状态和进度，帮助用户及时了解备份情况。同步引擎负责数据复制，根据用户需求的复制类型，自动调度相关任务，并同样提供任务状态反馈。对比引擎用于比较不同数据源之间的结构和数据，同样具备状态更新功能。 核心组件层是为上层功能引擎提供基础服务的部分，包括日志解析、数据转换和数据存储引擎。这些组件使得NineData能够处理各种数据格式，进行必要的转换，并将数据安全地存储。 数据安全层是NineData的一个关键组成部分，它提供全面的数据安全防护，覆盖数据全生命周期。包括细粒度权限控制，确保只有授权用户可以访问特定数据；敏感数据管理与脱敏，防止敏感信息泄露；数据加密，保证数据在传输和存储过程中的安全性；以及安全操作审计，记录所有操作，便于追踪和合规检查。 数据源连接层负责与各种不同的数据源建立连接，使NineData能够兼容多种类型的数据源，为功能引擎提供数据访问的能力。 总结来说，NineData的产品架构是一个深度集成且高度模块化的系统，旨在提供高效、安全、灵活的数据管理解决方案。无论是数据备份、同步、查询还是安全控制，NineData都通过其精心设计的架构提供了全面的支持，满足了企业在大数据时代对数据管理的各种需求。