Dataproc 選用 Docker 元件

當您使用選用元件功能建立 Dataproc 叢集時，可以安裝 Docker 等其他元件。本頁面說明 Docker 元件。

Dataproc 元件會在每個叢集節點上安裝 Docker Daemon，並在每個節點上建立 Linux 使用者「docker」和 Linux 群組「docker」，以執行 Docker Daemon。這個元件也會建立「docker」systemd 服務，以執行 dockerd 服務。您應使用 systemd 服務管理 Docker 服務的生命週期。

安裝元件

請在建立 Dataproc 叢集時安裝元件。您可以在以 Dataproc 映像檔 1.5 版或更新版本建立的叢集上安裝 Docker 元件。

請參閱支援的 Dataproc 版本，瞭解每個 Dataproc 映像檔版本中包含的元件版本。

gcloud 指令

如要建立包含 Docker 元件的 Dataproc 叢集，請使用 gcloud dataproc clusters create cluster-name 指令搭配 --optional-components 標記。

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

您可以透過 Dataproc API，使用 SoftwareConfig.Component，做為 clusters.create 請求的一部分，指定 Docker 元件。

控制台

  1. 啟用元件。
    • 在 Google Cloud 控制台中，開啟 Dataproc 的「建立叢集」頁面。選取「設定叢集」面板。
    • 在「元件」部分：
      • 在「選用元件」下方，選取 Docker 和其他要安裝在叢集上的選用元件。

在 YARN 上啟用 Docker

如要搭配 YARN 使用自訂 Docker 映像檔，請參閱「使用 Docker 在 YARN 上自訂 Spark 工作執行階段環境」。

Docker 記錄

根據預設，Dataproc Docker 元件會設定 gcplogs driver，將記錄寫入 Cloud Logging，詳情請參閱「查看記錄」。

Docker 登錄檔

Dataproc Docker 元件會設定 Docker，除了預設的 Docker 登錄檔外，也使用 Container Registry。Docker 會使用 Docker 憑證輔助程式，向 Container Registry 進行驗證。

在 Kerberos 叢集上使用 Docker 元件

您可以在啟用 Kerberos 安全性的情況下，在建立叢集時安裝 Docker 選用元件。