Ce guide explique comment surveiller les instances et les pipelines Cloud Data Fusion à l'aide du tableau de bord de surveillance Cloud Data Fusion dans la section "Surveillance".
Le tableau de bord Cloud Data Fusion fournit des vues personnalisables des principales métriques. Afficher ces métriques directement dans Monitoring vous permet de personnaliser le filtrage et l'agrégation des métriques.
Le tableau de bord comprend les vues suivantes:
- Présentation:surveille les métriques et les journaux système de Cloud Data Fusion.
- Instance:surveille toutes les instances Cloud Data Fusion du projet.
- Pipeline:fournit des informations sur les exécutions et les performances du pipeline.
Pour obtenir des informations détaillées sur les métriques dans n'importe quelle vue, pointez sur le widget, puis cliquez sur Plus > Afficher dans l'explorateur de métriques.
Avant de commencer
- Dans la Google Cloud console, installez le modèle de tableau de bord et sélectionnez le modèle de tableau de bord Surveillance de Data Fusion dans le cloud.
Tarifs
L'utilisation de Cloud Monitoring entraîne des frais. Pour en savoir plus, consultez les tarifs de Google Cloud Observability.
Rôles requis
Pour obtenir les autorisations nécessaires pour afficher les métriques, demandez à votre administrateur de vous accorder le rôle IAM Lecteur Monitoring (roles/monitoring.viewer) sur votre projet.
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
Widgets d'affichage des instances
Ce tableau décrit les widgets de la vue "Instance" :
| Widget | Description |
|---|---|
| Exécutions de pipelines simultanées | Nombre de pipelines exécutés simultanément. |
| Pipelines simultanés lancés | Nombre de pipelines à l'état de provisionnement ou de démarrage. |
| Requêtes API reçues | Nombre cumulé de requêtes API reçues. |
| Nombre de réponses de l'API | Nombre cumulé de réponses d'API envoyées. |
| Nombre de vérifications d'autorisation | Nombre cumulé de vérifications d'autorisation. |
| Heure de vérification de l'autorisation | Latence des vérifications d'autorisation. |
| Nombre de pipelines déployés | Nombre de pipelines déployés. |
| Nombre de pipelines à l'état de brouillon | Nombre de pipelines de prévisualisation. |
| Nombre d'espaces de noms | Nombre d'espaces de noms. |
Widgets de vue du pipeline
Ce tableau décrit les widgets de la vue "Pipeline" :
| Widget | Description |
|---|---|
| Exécutions de pipeline réussies | Nombre cumulé d'exécutions de pipeline réussies. |
| Exécutions de pipeline ayant échoué | Nombre cumulé d'exécutions de pipeline ayant échoué. |
| Exécutions de pipeline interrompues | Nombre cumulé d'exécutions de pipeline interrompues. |
| Exécutions de pipeline refusées | Nombre cumulé d'exécutions de pipeline refusées. |
| Durée de l'exécution du pipeline réussie | Durée d'exécution des pipelines réussis. |
| Latence de démarrage du pipeline | Temps nécessaire pour qu'une exécution de pipeline atteigne l'état "En cours d'exécution". |
| Latence de provisionnement Dataproc | Temps nécessaire pour provisionner le cluster Dataproc. |
| Nombre de requêtes API Dataproc | Nombre cumulé de requêtes API envoyées à Dataproc. |
| Durée d'exécution de l'aperçu réussie | Durée d'exécution des aperçus réussis. |
| Exécutions d'aperçu | Nombre d'exécutions d'aperçus. |
| Octets lus par le pipeline | Nombre cumulé d'octets lus par un pipeline. |
| Octets écrits par le pipeline | Nombre cumulé d'octets écrits par un pipeline. |
| Octets du pipeline brassés | Nombre cumulé d'octets mélangés dans un pipeline. |
| Enregistrements de plug-in traités en entrée | Nombre cumulé d'enregistrements entrant dans un plug-in. |
| Enregistrements de plug-in traités en sortie | Nombre cumulé d'enregistrements quittant un plug-in. |
Afficher et filtrer les métriques
Afficher et filtrer les métriques directement dans Monitoring:
Dans la console Google Cloud , accédez à la page Explorateur de métriques.
Sélectionnez la ressource surveillée Cloud Data Fusion.
Sélectionnez une métrique.
Sélectionnez des filtres et une agrégation.
Étape suivante
- Pour en savoir plus sur les filtres et les métriques, consultez la présentation des métriques Cloud Data Fusion.