Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Les clusters à nœud unique sont des clusters Dataproc avec un seul nœud. Ce nœud unique agit à la fois en tant que nœud maître et nœud de calcul pour votre cluster Dataproc. Bien que les clusters à nœud unique ne comportent qu'un seul nœud, la plupart des concepts et fonctionnalités de Dataproc continuent de s'appliquer, à l'exception de ceux répertoriés ci-dessous.
Les clusters Dataproc à nœud unique peuvent être utiles dans plusieurs cas, parmi lesquels :
Pour essayer de nouvelles versions de Spark et Hadoop ou d'autres composants Open Source.
Pour élaborer des démonstrations de faisabilité.
Pour les applications légères de la science des données.
Pour le traitement de données non critiques à petite échelle.
Pour la formation sur l'écosystème Spark et Hadoop.
Sémantique d'un cluster à nœud unique
La sémantique suivante s'applique aux clusters Dataproc à nœud unique :
Les clusters à nœud unique sont configurés de la même manière que les clusters Dataproc multinœuds. Ils incluent des services tels que HDFS et YARN.
Les clusters à nœud unique sont signalés en tant que nœuds maîtres pour les actions d'initialisation.
Les clusters à nœud unique n'affichent aucun nœud de calcul, car le nœud unique joue lui-même le rôle de nœud maître et de nœud de calcul.
Les clusters à nœud unique reçoivent des noms d'hôte qui suivent le modèle clustername-m.
Vous pouvez utiliser ce nom d'hôte pour vous connecter en SSH ou à une interface utilisateur Web sur le nœud.
Les clusters à nœud unique ne peuvent pas être remplacés par des clusters multinœuds. Une fois créés, les clusters à nœud unique sont limités à un seul nœud. Réciproquement, les clusters multinœuds ne peuvent pas être remplacés par des clusters à nœud unique.
Limites
Les clusters à nœud unique ne sont pas recommandés pour le traitement parallèle de données à grande échelle. Si vous dépassez les ressources d'un cluster à nœud unique, il est recommandé d'utiliser un cluster Dataproc multinœud.
Les clusters à nœud unique ne sont pas compatibles avec la haute disponibilité, car le cluster ne possède qu'un seul nœud.
Vous pouvez créer un cluster Dataproc à nœud unique à l'aide de l'outil de ligne de commande gcloud. Pour créer un cluster à nœud unique, transmettez l'option --single-node à la commande gcloud dataproc clusters create.
Vous pouvez créer un cluster à nœud unique via l'API REST Dataproc avec une requête clusters.create. Lors de cette requête, pensez à effectuer les actions suivantes :
Ajoutez la propriété "dataproc:dataproc.allow.zero.workers":"true" à l'objet SoftwareConfig de la requête de cluster.
N'envoyez pas de valeurs pour workerConfig et secondaryWorkerConfig (voir ClusterConfig).
Console
Vous pouvez créer un cluster à nœud unique. Pour ce faire, sélectionnez "Un seul nœud (1 nœud maître, 0 nœud de calcul)" dans la section "Type de cluster" du panneau "Configurer le cluster" sur la page Créer un cluster de Dataproc.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/02 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/02 (UTC)."],[[["\u003cp\u003eSingle node Dataproc clusters utilize a single node as both the master and worker, simplifying cluster management for certain use cases.\u003c/p\u003e\n"],["\u003cp\u003eThese clusters are useful for tasks like testing new Spark/Hadoop versions, creating proof-of-concept demos, lightweight data science, small-scale data processing, and educational purposes.\u003c/p\u003e\n"],["\u003cp\u003eWhile most Dataproc features apply, single node clusters lack high-availability and do not support preemptible VMs or scaling to multi-node setups.\u003c/p\u003e\n"],["\u003cp\u003eSingle node clusters can be created using the \u003ccode\u003egcloud\u003c/code\u003e command-line tool with the \u003ccode\u003e--single-node\u003c/code\u003e flag, the Dataproc REST API with specific configurations, or the Google Cloud console by choosing the "Single Node" cluster type.\u003c/p\u003e\n"],["\u003cp\u003eSingle node clusters are not suitable for large-scale data processing, as they are limited by the resources of a single node.\u003c/p\u003e\n"]]],[],null,["Single node clusters are Dataproc clusters with only one node. This single\nnode acts as the master and worker for your\nDataproc cluster. While single\nnode clusters only have one node, most Dataproc concepts and features\nstill apply, except those [listed below](#limitations).\n\nThere are a number of situations where single node Dataproc clusters can\nbe useful, including:\n\n- Trying out new versions of Spark and Hadoop or other open source components\n- Building proof-of-concept (PoC) demonstrations\n- Lightweight data science\n- Small-scale non-critical data processing\n- Education related to the Spark and Hadoop ecosystem\n\nSingle node cluster semantics\n\nThe following semantics apply to single node Dataproc clusters:\n\n- Single node clusters are configured the same as multi node Dataproc clusters, and include services such as HDFS and YARN.\n- Single node clusters report as master nodes for [initialization actions](/dataproc/docs/concepts/configuring-clusters/init-actions).\n- Single node clusters show 0 workers since the single node acts as both master and worker.\n- Single node clusters are given hostnames that follow the pattern `clustername-m`. You can use this hostname to SSH into or connect to a [web UI](/dataproc/docs/concepts/accessing/cluster-web-interfaces) on the node.\n- Single node clusters cannot be upgraded to multi node clusters. Once created, single node clusters are restricted to one node. Similarly, multi node clusters cannot be scaled down to single node clusters.\n\nLimitations\n\n- Single node clusters are not recommended for large-scale parallel data\n processing. If you exceed the resources on a single node cluster, a multi node\n Dataproc cluster is recommended.\n\n- Single node clusters are not available with\n [high-availability](/dataproc/docs/concepts/configuring-clusters/high-availability)\n since there is only one node in the cluster.\n\n- Single node clusters cannot use [preemptible VMs](/dataproc/docs/concepts/compute/preemptible-vms).\n\nCreate a single node cluster \n\ngcloud command\n\n\nYou can create a single node Dataproc cluster using the `gcloud`\ncommand-line tool. To create a single node cluster, pass the\n`--single-node` flag to the\n[`gcloud dataproc clusters create`](/sdk/gcloud/reference/dataproc/clusters/create)\ncommand. \n\n```\ngcloud dataproc clusters create cluster-name \\\n --region=region \\\n --single-node \\\n ... other args\n```\n\n\u003cbr /\u003e\n\nREST API\n\n\nYou can create a single node cluster through the\n[Dataproc REST API](/dataproc/docs/reference/rest) using a\n[clusters.create](/dataproc/docs/reference/rest/v1/projects.regions.clusters/create)\nrequest. When making this request, you must:\n\n1. Add the property `\"dataproc:dataproc.allow.zero.workers\":\"true\"` to the [SoftwareConfig](/dataproc/docs/reference/rest/v1/ClusterConfig#SoftwareConfig) of the cluster request.\n2. Don't submit values for `workerConfig` and `secondaryWorkerConfig` (see [ClusterConfig](/dataproc/docs/reference/rest/v1/ClusterConfig)).\n\n| To examine and construct the JSON body of a Dataproc API clusters create request, open the Dataproc [Create a cluster](https://console.cloud.google.com/dataproc/clustersAdd) page, fill in the applicable fields, then click the **Equivalent REST** button at the bottom of the left panel to view the POST request with the completed JSON request body.\n\n\u003cbr /\u003e\n\nConsole\n\n\nYou can create a single node cluster by selecting \"Single Node\n(1 master, 0 workers)\" on the Cluster type section of\nthe Set up cluster panel on the Dataproc\n[Create a cluster](https://console.cloud.google.com/dataproc/clustersAdd)\npage."]]
