Neste guia, explicamos como monitorar instâncias e pipelines do Cloud Data Fusion usando o painel de monitoramento do Cloud Data Fusion no Monitoring.
O painel do Cloud Data Fusion oferece visualizações personalizáveis das principais métricas. A visualização dessas métricas diretamente no Monitoring permite personalizar a filtragem e a agregação delas.
O painel inclui as seguintes visualizações:
- Visão geral:monitora as métricas e os registros do sistema do Cloud Data Fusion.
- Instância:monitora todas as instâncias do Cloud Data Fusion no projeto.
- Pipeline:fornece informações sobre as execuções e a performance do pipeline.
Para informações detalhadas sobre as métricas em qualquer visualização, passe o cursor sobre o widget e clique em Mais > Ver no Metrics Explorer.
Antes de começar
- No console Google Cloud , instale o painel de modelo e selecione o modelo de painel Monitoramento do Cloud Data Fusion.
Preços
O uso do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços do Google Cloud Observability.
Funções exigidas
Para receber as permissões necessárias para conferir as métricas, peça ao administrador para conceder a você o papel do IAM de Leitor do Monitoring (roles/monitoring.viewer) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Widgets de visualização de instância
Esta tabela descreve os widgets na visualização de instâncias:
| Widget | Descrição |
|---|---|
| Execução simultânea de pipelines | Número de pipelines em execução simultaneamente. |
| Pipelines simultâneos iniciados | Número de pipelines em um estado de provisionamento ou inicialização. |
| Solicitações de API recebidas | Contagem cumulativa de solicitações de API recebidas. |
| Contagem de respostas da API | Contagem cumulativa de respostas da API enviadas. |
| Contagem de verificação de autorização | Contagem cumulativa de verificações de autorização. |
| Tempo de verificação de autorização | Latência das verificações de autorização. |
| Número de pipelines implantados | Número de pipelines implantados. |
| Contagem de pipelines de rascunho | Número de pipelines de rascunho. |
| Contagem de namespaces | Número de namespaces. |
Widgets da visualização de pipeline
Esta tabela descreve os widgets na visualização do pipeline:
| Widget | Descrição |
|---|---|
| Execuções de pipeline concluídas | Contagem cumulativa de execuções de pipeline bem-sucedidas. |
| Execuções de pipeline com falha | Contagem cumulativa de execuções de pipeline com falha. |
| Execuções de pipeline interrompidas | Contagem cumulativa de execuções de pipeline interrompidas. |
| Execuções de pipeline rejeitadas | Contagem cumulativa de execuções de pipeline rejeitadas. |
| Tempo de execução do pipeline | Tempo necessário para a conclusão das execuções de pipeline. |
| Latência de início do pipeline | Tempo que uma execução de pipeline leva para chegar ao estado "Em execução". |
| Latência de provisionamento do Dataproc | Tempo gasto para provisionar o cluster do Dataproc. |
| Contagem de solicitações da API Dataproc | Contagem cumulativa de solicitações de API feitas ao Dataproc. |
| Ambiente de execução da visualização com êxito | Tempo que as execuções de visualização levam para serem concluídas. |
| Visualizar execuções | Número de execuções de visualização. |
| Bytes de pipeline lidos | Contagem cumulativa de bytes lidos por um pipeline. |
| Bytes de pipeline gravados | Contagem cumulativa de bytes gravados por um pipeline. |
| Bytes de pipeline embaralhados | Contagem cumulativa de bytes embaralhados em um pipeline. |
| Registros de plug-in processados em | Contagem cumulativa de registros que entram em um plug-in. |
| Registros de plug-in processados | Contagem cumulativa de registros que saem de um plug-in. |
Conferir e filtrar métricas
Confira e filtre métricas diretamente no Monitoring:
No console Google Cloud , acesse a página Metrics Explorer.
Selecione o recurso monitorado do Cloud Data Fusion.
Escolha uma métrica.
Selecione filtros e agregação.
A seguir
- Para saber mais sobre filtros e métricas, consulte a Visão geral das métricas do Cloud Data Fusion.