Agrega aspectos de Dataplex Universal Catalog según las estadísticas de los perfiles de datos

En esta página, se describe cómo agregar automáticamente aspectos de Dataplex Universal Catalog a tus datos después de que Protección de datos sensibles genere perfiles de tus recursos. En esta página, también se proporcionan ejemplos de consultas que puedes usar para encontrar datos en tu organización y proyectos con valores de aspectos específicos.

Esta función es útil si deseas enriquecer tus metadatos en Dataplex Universal Catalog con estadísticas recopiladas a partir de los perfiles de datos de Sensitive Data Protection. Los aspectos generados incluyen las siguientes estadísticas:

  • Nivel de sensibilidad calculado de la tabla o el conjunto de datos
  • Nivel de riesgo de datos calculado de la tabla o el conjunto de datos
  • Tipos de información (infoTypes) que se detectaron en la tabla o el conjunto de datos

Las estadísticas de los perfiles de datos de la Protección de datos sensibles pueden ayudarte a usar el catálogo universal de Dataplex para descubrir datos sensibles y de alto riesgo en tu organización. Usa estas estadísticas para tomar decisiones fundamentadas sobre cómo administrar y controlar tus datos.

Acerca de los perfiles de datos

Puedes configurar la protección de datos sensibles para que genere automáticamente perfiles sobre los datos en una organización, una carpeta o un proyecto. Los perfiles de datos contienen métricas y metadatos sobre tus datos, y te ayudan a determinar dónde residen los datos sensibles y de alto riesgo. La Protección de datos sensibles informa estas métricas en varios niveles de detalle.

Puedes enviar perfiles de datos a otros servicios de Google Cloud , como Dataplex Universal Catalog, Pub/Sub, Security Command Center y Google Security Operations, para enriquecer tus flujos de trabajo de alertas, seguridad y administración de datos.

Acerca de Dataplex Universal Catalog

Dataplex Universal Catalog proporciona un inventario unificado de recursos de Google Cloud .

Dataplex Universal Catalog te permite usar aspectos para agregar metadatos técnicos y empresariales a tus datos y capturar el contexto y el conocimiento sobre tus recursos. Luego, puedes buscar y descubrir datos en toda tu organización, y habilitar la administración de datos en tus recursos de datos. Para obtener más información, consulta Aspectos.

Recursos admitidos

Sensitive Data Protection puede adjuntar automáticamente aspectos a las entradas de Dataplex Universal Catalog para los siguientes recursos:

  • tablas de BigQuery

  • Tablas de Cloud SQL

  • Conjuntos de datos de Vertex AI creados a partir de tablas de BigQuery

Dataplex Universal Catalog no ingiere buckets de Cloud Storage, por lo que esta función no está disponible cuando generas perfiles de datos de Cloud Storage.

Cómo funciona

El flujo de trabajo de alto nivel para crear automáticamente aspectos de Dataplex Universal Catalog basados en perfiles de datos es el siguiente:

  1. Crea o edita una configuración de análisis para un tipo de recurso admitido.

  2. En el paso Agregar acciones, asegúrate de que la acción Enviar a Dataplex Catalog como aspectos esté habilitada.

    Si creas una configuración de análisis, esta acción se habilita de forma predeterminada.

    Si editas la configuración de un análisis, habilita esta acción.

La Protección de datos sensibles agrega o actualiza el aspecto Sensitive Data Protection profile de la entrada de Dataplex Universal Catalog para cada recurso compatible que generes como perfil. Luego, puedes buscar en Dataplex Universal Catalog todos los datos de tu organización o proyecto con valores de aspectos específicos.

Cuando habilitas la acción Enviar a Dataplex Catalog como aspectos, la Protección de datos sensibles la aplica solo a los perfiles nuevos y actualizados. Los perfiles existentes que no se actualicen no se enviarán a Dataplex Universal Catalog.

Campos de nivel superior

El aspecto resultante para una tabla con perfil puede tener los siguientes campos de nivel superior:

Nombre visible Valor de ejemplo Descripción
Sensitivity MODERATE El nivel de sensibilidad calculado de la tabla
Risk MODERATE El nivel de riesgo de datos calculado de la tabla
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
 Es una lista de todos los Infotipos que se encontraron en la tabla, incluidos los Infotipos previstos y los otros Infotipos. Este campo se incluye si se detectó al menos un Infotipo en la tabla.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
 Es una lista de todos los infotipos predichos que se encontraron en todas las columnas de la tabla. Este campo se incluye si se detectó al menos un Infotipo previsto en la tabla.
Project Profile Consulta Perfil del proyecto y perfil de la organización en esta página. Se incluye si el recurso se perfiló a través de una configuración de análisis a nivel del proyecto.
Organization Profile Consulta Perfil del proyecto y perfil de la organización en esta página. Se incluye si el recurso se perfiló a través de una configuración de análisis a nivel de la organización o la carpeta.

Si se generó un perfil del recurso a nivel del proyecto y de la organización o la carpeta, Sensitive Data Protection agrega los valores de ambos perfiles. El aspecto proporciona una unión de los infoTypes detectados y usa las calificaciones de sensibilidad y riesgo de datos más altas de ambos perfiles.

Por ejemplo, supongamos que el perfil a nivel del proyecto califica la sensibilidad del recurso como MODERATE y el perfil a nivel de la organización la califica como LOW. En este caso, el valor en el campo Sensitivity de nivel superior del aspecto es MODERATE.

Campos del perfil del proyecto y del perfil de la organización

El aspecto Sensitive Data Protection profile resultante incluye uno o ambos de los siguientes campos de nivel superior, según el nivel en el que se haya generado el perfil del recurso:

Project Profile
Se incluye en el aspecto si el recurso se perfiló a través de una configuración de análisis a nivel del proyecto
Organization Profile
Se incluye en el aspecto si se generó el perfil del recurso a través de una configuración de análisis a nivel de la organización o de la carpeta.

Si se generó un perfil del recurso a nivel del proyecto y a nivel de la organización o la carpeta, el aspecto resultante tendrá los campos Project Profile y Organization Profile.

Cada campo Project Profile o Organization Profile contiene campos Sensitivity y Risk anidados con los valores que se enumeran en el perfil de datos. Si el perfil de datos tiene Infotipos previstos y otros Infotipos enumerados, también estarán disponibles como campos Column InfoTypes y InfoTypes anidados. Además, cada campo Project Profile o Organization Profile contiene los siguientes campos anidados:

Profile

Es el nombre completo del recurso del perfil de datos. Ejemplos:

  • Perfil a nivel del proyecto: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil a nivel de la organización o de la carpeta: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Es un vínculo al perfil en la consola de Google Cloud . Ejemplos:

  • Perfil a nivel del proyecto: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil a nivel de la organización o de la carpeta: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Habilitar la API de Dataplex

La API de Dataplex debe estar habilitada en cada proyecto que contenga recursos a los que quieras agregar aspectos. En esta sección, se describe cómo habilitar la API de Dataplex en un solo proyecto o en todos los proyectos de una organización o carpeta.

Habilita la API de Dataplex en un solo proyecto

  1. Selecciona el proyecto en el que deseas habilitar la API de Dataplex.

    Ir al selector de proyectos

  2. Enable the Dataplex API.

    Enable the API

Habilita la API de Dataplex en todos los proyectos de una organización o carpeta

En esta sección, se proporciona una secuencia de comandos que busca todos los proyectos de una organización o carpeta y habilita la API de Dataplex en cada uno de esos proyectos.

Para obtener los permisos que necesitas para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta:

  • Para buscar todos los proyectos de una organización o carpeta, haz lo siguiente: cloudasset.assets.searchAllResources en la organización o la carpeta
  • Para habilitar la API de Dataplex, haz lo siguiente: serviceusage.services.use en cada proyecto en el que desees habilitar la API de Dataplex

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para habilitar la API de Dataplex en todos los proyectos de una organización o carpeta, sigue estos pasos:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Ejecuta la siguiente secuencia de comandos:

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    Reemplaza lo siguiente:

    • RESOURCE_ID: El número de organización o de carpeta del recurso que contiene los proyectos
    • RESOURCE_TYPE: Es el tipo de recurso que contiene los proyectos: organizations o folders.

Roles y permisos para ver aspectos

Para obtener los permisos que necesitas para buscar aspectos asociados a tus recursos, pídele a tu administrador que te otorgue los siguientes roles de IAM en los recursos:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para buscar aspectos asociados a tus recursos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para buscar aspectos asociados a tus recursos:

  • Consulta las entradas de Dataplex Universal Catalog:
    • dataplex.entries.list
    • dataplex.entries.get
  • Consulta los conjuntos de datos y las tablas de BigQuery:
    • bigquery.datasets.get
    • bigquery.tables.get
  • Para ver los conjuntos de datos de Vertex AI, haz lo siguiente: aiplatform.datasets.get

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre los permisos necesarios para usar Dataplex Universal Catalog, consulta Permisos de IAM de Dataplex Universal Catalog.

Encuentra el aspecto generado para un perfil de datos de tabla determinado

  1. En la consola de Google Cloud , ve a la página Búsqueda de Dataplex Universal Catalog.

    Ir a Búsqueda

  2. Selecciona tu organización o proyecto.

  3. En Elige una plataforma de búsqueda, selecciona Dataplex Catalog como el modo de búsqueda.

  4. En el campo Buscar, ingresa lo siguiente:

    name:TABLE_ID

    Reemplaza TABLE_ID por el ID de la tabla para la que se generó el perfil.

  5. En la lista que aparece, haz clic en el nombre de la tabla. Aparecerán los detalles de la tabla de BigQuery. Los aspectos Sensitive Data Protection profile asociados se muestran en la sección Aspectos y etiquetas opcionales.

Para obtener más información sobre cómo buscar recursos, consulta Cómo buscar recursos en Dataplex Universal Catalog.

Ejemplos de búsquedas

En esta sección, se proporcionan ejemplos de búsquedas que puedes usar en Dataplex Universal Catalog para encontrar datos en tu organización o proyecto con valores de aspectos específicos.

Solo puedes encontrar los datos a los que tienes acceso. El acceso a los datos se controla a través de permisos de IAM. Para obtener más información, consulta Roles y permisos para ver aspectos en esta página.

Puedes ingresar estas consultas de ejemplo en el campo Search de la página Search de Dataplex Universal Catalog.

Ir a Búsqueda

Para obtener información sobre cómo formar las consultas, consulta Sintaxis de búsqueda de Dataplex Universal Catalog.

Encuentra todos los recursos que tienen el aspecto de perfil de Sensitive Data Protection

aspect:sensitive-data-protection-profile

Encuentra todos los recursos con una puntuación de sensibilidad determinada

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Reemplaza SENSITIVITY_SCORE por HIGH, MODERATE, UNKNOWN o LOW.

Para obtener más información, consulta Niveles de sensibilidad y riesgo de datos.

Cómo encontrar todos los recursos con una puntuación de riesgo determinada

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Reemplaza DATA_RISK_LEVEL por HIGH, MODERATE, UNKNOWN o LOW.

Para obtener más información, consulta Niveles de sensibilidad y riesgo de datos.

Busca todos los recursos que tienen un perfil a nivel del proyecto

aspect:sensitive-data-protection-profile.projectProfile

Busca todos los recursos que tienen un perfil a nivel de la organización

aspect:sensitive-data-protection-profile.organizationProfile