Metadati del cluster

Dataproc imposta valori di metadati speciali per le istanze in esecuzione nel cluster:

Chiave metadatiValore
dataproc-bucketNome del bucket di staging del cluster
dataproc-regionRegione dell'endpoint del cluster
dataproc-worker-countNumero di nodi worker nel cluster. Il valore è 0 per i cluster a un solo nodo.
dataproc-cluster-nameNome del cluster
dataproc-cluster-uuidUUID del cluster
dataproc-roleIl ruolo dell'istanza, Master o Worker
dataproc-masterNome host del primo nodo master. Il valore è [CLUSTER_NAME]-m in un cluster standard o a un solo nodo oppure [CLUSTER_NAME]-m-0 in un cluster ad alta disponibilità, dove [CLUSTER_NAME] è il nome del cluster.
dataproc-master-additionalElenco separato da virgole di hostname per i nodi master aggiuntivi in un cluster ad alta disponibilità, ad esempio [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 in un cluster con 3 nodi master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLLa versione o l'URL che rimanda a una versione del connettore BigQuery di Spark da utilizzare nelle applicazioni Spark, ad esempio 0.42.1 o gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Una versione predefinita del connettore BigQuery di Spark è preinstallata nei cluster delle versioni di immagini Dataproc 2.1 e successive. Per ulteriori informazioni, consulta Utilizzare il connettore BigQuery di Spark.

Puoi utilizzare questi valori per personalizzare il comportamento delle azioni di inizializzazione.

Puoi utilizzare il flag --metadata nel comando gcloud dataproc clusters create per fornire i tuoi metadati:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...