数据沿袭注意事项

本文档介绍了数据沿袭合规性和限制。数据沿袭是按项目启用的,而不是按系统启用的。这意味着,启用 Data Lineage API 后,系统会根据项目中每个系统的产品级沿袭控制,自动报告项目中多个系统的沿袭信息。

以下系统支持自动沿袭跟踪:

Google Cloud 支持的系统中的产品级沿袭控制
系统 可用的沿袭控制
BigQuery、
Cloud Data Fusion
在项目中启用 Data Lineage API 后,无法配置将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery。
Cloud Composer Cloud Composer 使用环境级数据沿袭集成控制。只要满足要求,系统就会自动为所有新的 Cloud Composer 环境启用数据沿袭。如需了解详情,请参阅使用 Dataplex Universal Catalog 执行数据沿袭。对于现有环境,您可以在环境设置中启用或停用数据沿袭集成。
Dataflow Dataflow 作业可以捕获沿袭事件并将其发布到 Data Lineage API。如需了解详情,请参阅在 Dataflow 中使用数据沿袭
Dataproc Dataproc Spark 作业可以捕获沿袭事件并将其发布到 Data Lineage API。如需了解详情,请参阅数据沿袭 Dataproc 集成
Vertex AI 系统会自动为 Vertex AI 制品和参数(例如模型、数据集、流水线模板和组件)启用数据沿袭功能。流水线的沿袭包括促使其创建的各种因素,以及之后派生的制品和元数据。如需了解详情,请参阅跟踪流水线制品的沿袭

结算影响

在项目上启用 Data Lineage API 时,请查看对结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。

对于 BigQuery Omni,沿袭处理会分布到特定区域,费用取决于执行处理的区域。

数据沿袭合规性

  • 数据沿袭记录有关数据移动的元数据,但不捕获数据本身。如需详细了解元数据中包含哪些字段,请参阅数据沿袭信息模型Data Lineage API 参考文档
  • 作为 Dataplex Universal Catalog 的一部分,数据沿袭会提供 VPC-SC 支持。
  • Dataplex Universal Catalog 不支持使用客户管理的加密密钥来保护收集的沿袭元数据。

数据沿袭限制

在沿袭图中选择节点时,如果出现以下情况,节点详情侧边栏将为空:

  1. 资源位于其他组织中,或者
  2. 用户不是托管资源的组织的成员。