KubernetesでGPUクラスタを管理したい
Download as PPTX, PDF5 likes9,129 views
DockerTokyo #20で発表した内容です。 https://dockerjp.connpass.com/event/73122/
![各ワーカでの設定
[cgroup]
path = "runtime”
[plugins.linux]
runtime = "/usr/bin/nvidia-container-runtime"
/etc/containerd/config.tml](https://image.slidesharecdn.com/dockermeedup-171214113211/85/Kubernetes-GPU-23-320.jpg)
KubernetesでGPUクラスタを管理したい
- 2. モチベーション • 機械学習 • 分散学習タスクの場合にいちいちノードにログインしたくない • 複数のタスクを並列で走らせたい • コンテナ単位で管理できればデプロイも楽
- 3. なぜkubernetesなのか • コンテナオーケストレータの覇者であることがほぼ確定 • スケジューラなどが拡張しやすい • アルファ版だがGPUサポートが有る • コミュニティとしても盛り上がってるところ • https://github.com/google/kubeflow • https://github.com/tensorflow/k8s
- 6. spec: template: metadata: labels: app: mxd-worker1 spec: volumes: - name: nvidialib hostPath: path: /usr/lib/nvidia-375 containers: - name: mxd-worker1 image: mxnet/python:gpu volumeMounts: - mountPath: /usr/local/nvidia name: nvidialib readOnly: true resources: requests: alpha.kubernetes.io/nvidia-gpu: 4 limits: alpha.kubernetes.io/nvidia-gpu: 4 これで大丈夫 ドキュメントにもそう書いてある
- 11. もっとかっこよくなりませんか…？ 手段 1. kubernetes + docker + nvidia-docker2 2. kubernetes + cri-containerd + nvidia-container-runtime 3. ??? 目標 1. コミュニティでちゃんとサポートされそうなこと 2. k8sのマニフェストにノード固有の設定が不要なこと
- 12. nvida-docker2, nvidia-container-runtime • nvidiaが最近始めたプロジェクト • OCIランタイムスペックに準拠したGPUを利用するためのコンテ ナランタイム • ホスト側のCUDAのバージョンを自動的に認識してなんとかして くれる • 最新版のdockerにも対応してる • 特徴として環境変数でGPU数や、GPUアーキテクチャの指定な どを細かく指定できる
- 15. nv-docker, nv-runtime, k8sの関係 k8sはdocker, cri-containerdに対して deviceオプションでGPUデバイスを、-vでライブラリを入れる デバイスオプション このpodにはGPU 2つ ライブラリのマウントはユーザの責任 2 GPUマウントするよー
- 16. nv-docker, nv-runtime, k8sの関係 旧nv-dockerも一緒 デバイスオプション このコンテナにはGPU 2つ ライブラリのマウントも自動 2 GPUマウントするよー
- 17. nv-docker, nv-runtime, k8sの関係 nvidia-docker2, nv-runtimeは違う 環境変数でGPU数指定 NVIDIA_VISIBLE_DEVICES=0,1 このコンテナにはGPU 2つ 2GPUマウントしよう デバイス・ライブラリのマウント
- 18. 方法１：k8s + docker + nvidia-docker2 Node GPU nv-runtime 素直な構成、安心と信頼の?docker
- 19. 構築手順 • ワーカにnvidiaドライバインストール • 各ノードにdockerインストール • ワーカにnvidia-docker2インストール • ワーカでdefault runtimeの設定変更 • kubeadmなどでkubernetesクラスタ構築
- 20. 各ワーカでの設定 { "default-runtime": ”nvidia", "runtimes": { ”nvidia": { "path": "nvidia-container-runtime" }, } } /etc/docker/daemon.json
- 21. k8s + cri-containerd + nv-runtime Node GPU CRI-containerd nv-runtime alpha版の組み合わせでちょっと怖い でも将来的にはこっちが主流かも？
- 22. 構築手順 • ワーカにnvidiaドライバインストール • https://github.com/kubernetes-incubator/cri-containerd を参考に cri-containerd等を各ノードにインストール • ワーカにnvidia-container-runtimeをインストール • ワーカにcontainerdのruntimeを設定 • kubeadmなどでkubernetesクラスタ構築
- 23. 各ワーカでの設定 [cgroup] path = "runtime” [plugins.linux] runtime = "/usr/bin/nvidia-container-runtime" /etc/containerd/config.tml
- 24. nv-docker2, nv-runtime, k8sの組み合わせに よる問題 このpodにはGPUはない 環境変数でGPU数指定 NVIDIA_VISIBLE_DEVICES=0,1 デバイス・ライブラリのマウント このコンテナにはGPU 2つ 2GPUマウントしよう 誰が GPUを管理するか複雑になる
- 25. kubernetesにGPUを管理させる • nvidia-docker2/nvidia-container-runtimeでは NVIDIA_VISIBLE_DEVICESをnoneとすればライブラリのマウントだ け行う • NVIDIA_VISIBLE_DEVICES=noneにしておきながらkubernetes側で resourceを記述する 結果： docker + nvidia-docker2 なら目標を満たせた cri-conainerd + nvidia-container-runtimeだとなぜかずっとpending
- 26. kubernetesにGPUを管理させる • nvidia-docker2/nvidia-container-runtimeでは NVIDIA_VISIBLE_DEVICESをnoneとすればライブラリのマウントだ け行う • NVIDIA_VISIBLE_DEVICES=noneにしておきながらkubernetes側で resourceを記述する 結果： docker + nvidia-docker2 なら目標を満たせた cri-conainerd + nvidia-container-runtimeだとなぜかずっとpending が、これはかっこいい方法なんだろうか
- 27. 結論 • 現状では怪しいワークアラウンドが必要になる • nvidia-docker2を使うのも選択肢としてはありかも • もしくは力技で関連ライブラリを共通のパスにコピーする方法 もある • kubeletは/devの上から指定するだけだが、nvidia-docker2では GPUのUUIDやアーキテクチャを指定とかいろいろ機能があるが まだkubernetesと上手く連携できない • このあたりのインタフェースの整理はこれからだと思われる
- 28. ちなみに‥GKEじゃだめですか？ • GKEはalphaとしてGPUインスタンスも扱える • cudaドライバのインストール等をk8sのデーモンセットでできる gcloud alpha container clusters create gpu-cluster --accelerator type=nvidia-tesla-k80,count=1 --zone=asia-east1-a --enable-kubernetes-alpha $ kubectl apply -f daemonset.yaml https://github.com/ContainerEngine/accelerators