Proprietà cluster

Apache Hadoop YARN, HDFS, Spark e proprietà correlate

I componenti open source installati sui cluster Dataproc contengono molti file di configurazione. Ad esempio, Apache Spark e Apache Hadoop hanno diversi file di configurazione XML e di testo normale. Puoi utilizzare il flag ‑‑properties del comando gcloud dataproc clusters create per modificare molti file di configurazione comuni durante la creazione di un cluster.

Formattazione

Il flag gcloud dataproc clusters create --properties accetta il seguente formato stringa:

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• file_prefix corrisponde a un file di configurazione predefinito, come mostrato nella tabella seguente, mentre property corrisponde a una proprietà all'interno del file.

• Il delimitatore predefinito utilizzato per separare più proprietà del cluster è la virgola (,). Tuttavia, se una virgola è inclusa in un valore della proprietà, devi modificare il delimitatore specificando "^delimiter^" all'inizio dell'elenco delle proprietà (vedi gcloud topic escaping per maggiori informazioni).

  • Esempio di utilizzo di un delimitatore "#":

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

Esempi

--properties 'spark:spark.master=spark://example.com'

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

"properties": {
  "spark:spark.executor.memory": "10g"
}

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

Proprietà del cluster e del job

Le proprietà Apache Hadoop YARN, HDFS, Spark e altre con prefisso file vengono applicate a livello di cluster quando crei un cluster. Queste proprietà non possono essere applicate a un cluster dopo la creazione. Tuttavia, molte di queste proprietà possono essere applicate anche a job specifici. Quando applichi una proprietà a un lavoro, il prefisso del file non viene utilizzato.

L'esempio seguente imposta la memoria dell'executor Spark su 4 g per un job Spark (prefisso spark: omesso).

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

Le proprietà del job possono essere inviate in un file utilizzando il flag gcloud dataproc jobs submit job-type --properties-file (vedi, ad esempio, la descrizione di --properties-file per l'invio di un job Hadoop).

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE è un insieme di coppie key=value delimitate da una nuova riga. La proprietà da impostare è key e il valore su cui impostarla è value. Consulta la classe java.util.Properties per una descrizione dettagliata del formato del file delle proprietà.

Di seguito è riportato un esempio di file di proprietà che può essere trasferito al flag --properties-file durante l'invio di un job Dataproc.

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

Tabella delle proprietà con prefisso file

Note

• Alcune proprietà sono riservate e non possono essere sostituite perché influiscono sulla funzionalità del cluster Dataproc. Se tenti di modificare una proprietà riservata, riceverai un messaggio di errore durante la creazione del cluster.
• Puoi specificare più modifiche separandole con una virgola.
• Il flag --properties non può modificare i file di configurazione non mostrati sopra.
• Le modifiche alle proprietà verranno applicate prima dell'avvio dei daemon sul cluster.
• Se la proprietà specificata esiste, verrà aggiornata. Se la proprietà specificata non esiste, verrà aggiunta al file di configurazione.

Proprietà del servizio Dataproc

Le proprietà elencate in questa sezione sono specifiche di Dataproc. Queste proprietà possono essere utilizzate per configurare ulteriormente la funzionalità del cluster Dataproc.

Formattazione

Il flag gcloud dataproc clusters create --properties accetta il seguente formato stringa:

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• Il delimitatore predefinito utilizzato per separare più proprietà del cluster è la virgola (,). Tuttavia, se una virgola è inclusa in un valore della proprietà, devi modificare il delimitatore specificando "^delimiter^" all'inizio dell'elenco delle proprietà (vedi gcloud topic escaping per maggiori informazioni).

  • Esempio di utilizzo di un delimitatore "#":

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

Esempio:

Crea un cluster e imposta la modalità di flessibilità avanzata per lo shuffle del worker principale di Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Tabella delle proprietà del servizio Dataproc

¹File archivio chiavi: il file archivio chiavi contiene il certificato SSL. Deve essere nel formato Java KeyStore (JKS). Quando viene copiato nelle VM, viene rinominato in keystore.jks. Il certificato SSL deve essere un certificato con caratteri jolly che si applichi a ogni nodo del cluster.

²File dell'archivio attendibilità: il file dell'archivio attendibilità deve essere nel formato Java KeyStore (JKS). Quando viene copiato nelle VM, viene rinominato in truststore.jks.