Monitora l'integrità del sistema, dell'istanza e della pipeline di Cloud Data Fusion

Questa guida spiega come monitorare le istanze e le pipeline di Cloud Data Fusion utilizzando la dashboard di monitoraggio di Cloud Data Fusion in Monitoring.

La dashboard di Cloud Data Fusion fornisce visualizzazioni personalizzabili delle metriche chiave. La visualizzazione di queste metriche direttamente in Monitoraggio ti consente di personalizzare il filtro e l'aggregazione delle metriche.

La dashboard include le seguenti visualizzazioni:

  • Panoramica:monitora le metriche e i log del sistema Cloud Data Fusion.
  • Istanza:monitora tutte le istanze Cloud Data Fusion nel progetto.
  • Pipeline: fornisce informazioni sulle esecuzioni e sul rendimento della pipeline.

Per informazioni dettagliate sulle metriche in qualsiasi visualizzazione, passa il mouse sopra il widget e fai clic su Altro > Visualizza in Esplora metriche.

Prima di iniziare

Prezzi

L'utilizzo di Cloud Monitoring comporta addebiti. Per ulteriori informazioni, consulta la pagina Prezzi di Google Cloud Observability.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare le metriche, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore monitoraggio (roles/monitoring.viewer) nel progetto. Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Widget della visualizzazione delle istanze

Questa tabella descrive i widget nella visualizzazione Istanze:

Widget Descrizione
Esecuzioni di pipeline simultanee Numero di pipeline in esecuzione contemporaneamente.
Pipeline simultanee avviate Numero di pipeline in uno stato di provisioning o di avvio.
Richieste API ricevute Conteggio cumulativo delle richieste API ricevute.
Numero di risposte API Conteggio cumulativo delle risposte dell'API inviate.
Numero di controlli di autorizzazione Conteggio cumulativo dei controlli di autorizzazione.
Ora del controllo di autorizzazione Latenza dei controlli di autorizzazione.
Numero di pipeline implementate Numero di pipeline implementate.
Numero di bozze di pipeline Numero di bozze di pipeline.
Numero di spazi dei nomi Numero di spazi dei nomi.

Widget della visualizzazione della pipeline

Questa tabella descrive i widget nella visualizzazione Pipeline:

Widget Descrizione
Esecuzioni della pipeline riuscite Conteggio cumulativo delle esecuzioni della pipeline riuscite.
Esecuzioni delle pipeline non riuscite Conteggio cumulativo delle esecuzioni della pipeline non riuscite.
Esecuzioni delle pipeline interrotte Conteggio cumulativo delle esecuzioni delle pipeline interrotte.
Esecuzioni delle pipeline rifiutate Conteggio cumulativo delle esecuzioni della pipeline rifiutate.
Tempo di esecuzione della pipeline riuscita Tempo necessario per completare le esecuzioni della pipeline riuscite.
Latenza di avvio della pipeline Tempo necessario per l'esecuzione di una pipeline per raggiungere lo stato "In esecuzione".
Latenza del provisioning di Dataproc Tempo necessario per il provisioning del cluster Dataproc.
Numero di richieste API Dataproc Conteggio cumulativo delle richieste API inviate a Dataproc.
Tempo di esecuzione di anteprima riuscita Tempo necessario per il completamento delle esecuzioni di anteprima riuscite.
Esecuzioni di anteprima Numero di esecuzioni dell'anteprima.
Byte di pipeline letti Conteggio cumulativo dei byte letti da una pipeline.
Byte di pipeline scritti Conteggio cumulativo dei byte scritti da una pipeline.
Byte di pipeline con shuffling Conteggio cumulativo dei byte rimescolati in una pipeline.
Record di plug-in elaborati in Conteggio cumulativo dei record che entrano in un plug-in.
Record di plug-in elaborati in uscita Conteggio cumulativo dei record in uscita da un plug-in.

Visualizzare e filtrare le metriche

Visualizza e filtra le metriche direttamente in Monitoraggio:

  1. Nella Google Cloud console, vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Seleziona la risorsa monitorata di Cloud Data Fusion.

  3. Scegli una metrica.

  4. Seleziona i filtri e l'aggregazione.

Passaggi successivi