Clusters de nó único

Clusters de nó único são clusters do Dataproc com apenas um nó. Esse nó único atua como mestre e worker do cluster do Dataproc. Embora os clusters de nó único tenham apenas um nó, a maioria dos conceitos e recursos do Dataproc ainda se aplicam, exceto os listados abaixo.

Há várias situações em que os clusters de nó único do Dataproc podem ser úteis, incluindo:

• tentativas com novas versões do Spark e Hadoop ou outros componentes de código aberto;
• criação de demonstrações de prova do conceito (PoC, da sigla em inglês);
• ciência de dados leves;
• processamento de dados não críticos em pequena escala;
• educação relacionada ao ecossistema Spark e Hadoop.

Semântica de cluster de node único

A semântica a seguir se aplica aos clusters de nó único do Dataproc:

• Os clusters de nó único são configurados da mesma maneira que os clusters de vários nós do Dataproc e incluem serviços como HDFS e YARN.
• Os clusters de nó único são relatados como nós mestres para as ações de inicialização.
• Os clusters de node único mostram 0 workers, já que age como mestre e de trabalho.
• Os clusters de nó único recebem nomes de host que seguem o padrão clustername-m. Você pode usar esse nome de host para rodar SSH ou conectar à IU da Web no nó.
• Não é possível fazer upgrade dos clusters de node único para clusters de vários nodes. Uma vez criados, os clusters de node único são restritos a um node. Da mesma forma, os clusters de vários nodes não podem ser reduzidos para se tornar clusters de node único.

Limitações

• Não é recomendável usar clusters de nó único no processamento paralelo de dados em grande escala. Se você exceder os recursos em um cluster de nó único, um cluster de vários nós do Dataproc é recomendado.

• Os clusters de nó único não têm alta disponibilidade porque há apenas um nó no cluster.

• Os clusters de nó único não podem usar VMs preemptivas.

Criar um cluster de nó único

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args