Métadonnées du cluster

Dataproc définit des valeurs de métadonnées spéciales pour les instances exécutées dans votre cluster:

Clé de métadonnéeValeur
dataproc-bucketNom du bucket de préproduction du cluster
dataproc-regionRégion du point de terminaison du cluster
dataproc-worker-countNombre de nœuds de calcul dans le cluster. La valeur est 0 pour les clusters à nœud unique.
dataproc-cluster-nameNom du cluster
dataproc-cluster-uuidUUID du cluster
dataproc-roleRôle de l'instance : soit Master, soit Worker
dataproc-masterNom d'hôte du premier nœud maître. La valeur est [CLUSTER_NAME]-m dans un cluster standard ou à nœud unique, ou [CLUSTER_NAME]-m-0 dans un cluster à haute disponibilité, où [CLUSTER_NAME] est le nom de votre cluster.
dataproc-master-additionalListe des noms d'hôtes séparés par une virgule pour les nœuds maîtres supplémentaires d'un cluster à haute disponibilité, par exemple [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dans un cluster comportant trois nœuds maîtres.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLVersion ou URL qui pointe vers une version du connecteur BigQuery Spark à utiliser dans les applications Spark (par exemple, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar). Une version par défaut du connecteur Spark BigQuery est préinstallée dans les clusters Dataproc 2.1 et versions d'image ultérieures. Pour en savoir plus, consultez Utiliser le connecteur BigQuery Spark.

Vous pouvez utiliser ces valeurs pour personnaliser le comportement des actions d'initialisation.

Vous pouvez utiliser l'indicateur --metadata dans la commande gcloud dataproc clusters create pour fournir vos propres métadonnées:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...