Edge Computing と k8s でなんか話すよ
Download as PPTX, PDF4 likes3,814 views
アジェンダ - たまおき的関心事項 - MEC + GPU コンピューティング
![MECを理解する①
MEC のユースケースによって
必要な要素（テクノロジー、品質、
ビジネス要件）が異なる
MBB: Mobile Broadband
mMTC: massive Machine
Type Communications
Dense Inf Society
Connected vehicles
VR office/factory/tactileThroughput
Latency
Reliability
Availability
Energy
Efficiency
User/Device
density
Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ]
https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing](https://image.slidesharecdn.com/oodedge20171205-171207044609/85/Edge-Computing-k8s-17-320.jpg)
Edge Computing と k8s でなんか話すよ
- 1. Edge Computing と k8s でなんか話すよ 日本仮想化技術株式会社 VitrualTech.jp たまおき のぶゆき 2017/12/05 1
- 2. Who is • 日本仮想化秘術ではなく日本仮想化技術 • OpenStack/NFVでご飯を食べる人 • Googleで”OpenStack”を検索すると高い確率で 「OpenStack最新情報セミナー」の資料にHit 2
- 3. 今日のゴール 「Edge Computing と k8s 一緒に遊びたい人、 手を挙げてー！！」 3
- 4. 今日のお題 ① たまおき的関心事項 ② MEC + GPUコンピューティング 4
- 5. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • 大規模Containerクラスタ&GPUの提案が増えてます • GKE 最高ー！！ • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね 5 • Edge Computing の定義が人によって違う、 Mobile Edge Computing だとなおさら • ネットワーク網なのか • コンピュートなのか • 場所を指しているのか • AI や Deep Learning の具体的な利活用が求められている
- 6. 参考）GPUインフラの選択 • 機密情報などのデータを扱いたい 。最新の GPU を使いたい。 • インフラを集中管理し、簡単に使えて、GPU リソースを有効活用 GPU on OpenStack が GPU インフラの候補に 6 パブリッククラウド プライベートクラウド 規模 ② 専用のHPCクラスタ ④ GPU搭載のワークステー ション ① パブリッククラウドの GPUインスタンス ③ GPU on OpenStack 自由度
- 7. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー！！ • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 7 • わらしべ長者的に検証サーバが増えてます • HPE Moonshot System 2台（45台×2）のコンピュート で何をしようかニヤニヤしています
- 8. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー！！ • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 8
- 9. 参考）OpenStack on GKE GKE上でOpenStackのコントローラノードを稼働 9 ホストOS + KVM Cloud SQL オーケストレーション コンピュート コンピュート コンピュート サーバ サーバ ホストOS + KVM ホストOS ＋ コンテナエンジン RabbitMQ RabbitMQ RabbitMQ Keystone Keystone Keystone Nova Nova Nova LB LB Static IP (OpenStackだとFloating IP) GCP/GKEで稼働 自社DCで稼働 GCP: Google 社のインフラで KVM および関連サービスを提供する GKE: Google 社のインフラで Docker と Kubernetes および関連 サービスを提供する
- 10. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー！！ • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 10
- 11. 参考）自宅 k8s-er の悩み • コンテナインフラのセットアップ方法 • 外部からのインターネットアクセス • コンテナインフラの監視 • コンテナおよびコンテナインフラのセキュリティ • コンテナインフラの仮想ネットワーク • コンテナインフラのストレージ • コンテナインフラのバージョンアップやパッチ適用 • コンテナインフラのバックアップ 11
- 12. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー！！ • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 12
- 13. 今日のお題 ① たまおき的関心事項 ② MEC + GPUコンピューティング 13
- 14. MEC (Mobile Edge Computing) + GPUコンピューティング について 日本仮想化技術株式会社 VitrualTech.jp 2017/12/05 14
- 15. MECについての理解 15
- 16. MEC を取り巻く状況 外的要因 • 5G ネットワークの立ち上がり • Edge Throughput が 100Mbps • Latency が 1ms • Peak Data Rate が 20Gbps • Connected Carやスマートスピーカーな どの新領域のアプリケーションの登場 内的要因 • 運用コスト削減への圧力 • Software Defined Infrastructure の本格検討 • NFVやSD-WANを商用インフラで検討 • 機械学習や深層学習の業務への活用検討
- 17. MECを理解する① MEC のユースケースによって 必要な要素（テクノロジー、品質、 ビジネス要件）が異なる MBB: Mobile Broadband mMTC: massive Machine Type Communications Dense Inf Society Connected vehicles VR office/factory/tactileThroughput Latency Reliability Availability Energy Efficiency User/Device density Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ] https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing
- 18. Disaggregated CoreDisaggregated RAN MECを理解する② AT&T の MEC Architecture 5G Application Ecosystem IoT Connected Car MBB RU DU UPF UPF Macro Radio & Small cell Antennas 5G Base Stations Edge Cloud Centralized Cloud CCF Internet CU-CP CU-UP NFV MANO (Management & Orchestration) CU: Centralized Unit CP: Control Plane UP: User Plane UPF: User Plane Function CCF: Core Control Function RU: Radio Unit DU: Digital Unit Implications of 5G RAN and IoT on OpenStack based edge computing. より引用
- 19. MECを理解する③ • Docker / Kubernetes でコントローラを構成する • ゼロタッチ・プロビジョニングが鍵 • 数千ロケーションに展開することを想定 • エッジノードにて新しい技術を即座にサポート （GPU, SmartNIC, FPGA, など） • NFVやSDNなど他のプロジェクトとの連携を想定 AT&TのMECプロジェクトを推進する上での気づき
- 21. MEC+GPUコンピューティング • Docker / Kubernetes を使用したMEC環境の構築 • ゼロタッチ・プロビジョニングを見越した、MEC環境の構築・構成 変更 • サーバOSのインストールからコンテナアプリの設定まで • 仮想ネットワークと仮想ストレージも視野に • エッジノードでGPUの活用 POC(Proof of Concept)で実証したいこと
- 22. Container nodes MEC+GPUアーキテクチャ NFV MANO Edge Controllers Physical Provisioning Application Provisioning SDN / SDS Monitoring / Alerting Orchestrator GPU Hi speed networking General purpose Low energy Hi speed storage GPU Server GPU Server Storage Server Storage Server Object Storage Servers w/t SmartNIC Servers Edge Cloud のスコープ ServerServer Server
- 23. Edge Computing で必要な構成要素 前ページのMEC+GPUアーキテクチャの図示した構成要素以外 で必須・任意の構成要素を列記 必須要素 • Edge Cloud のオーケストレータ • Kubernetes を想定 • Edge Cloud 内のリソースを操作するための End Point • Kubernetes API を想定 任意要素 • Edge Cloud 内の構成情報・資産情報の管理 23
- 24. Container nodes POC#1のスコープ想定 NFV MANO Edge Controllers Physical Provisioning Application Provisioning SDN / SDS Monitoring / Alerting Orchestrator GPU Hi speed networking General purpose Low energy Hi speed storage GPU Server GPU Server Storage Server Storage Server Object Storage Servers w/t SmartNIC Servers Edge Cloud のスコープ ServerServer Server
- 26. GPUノードにおける整理 Hypervisor/Container でGPUを動かすために • HypervisorではPCI パススルー で、Containerでは nvidia docker で利用可能 • PCI パススルーはOpenStackコンピュートノードに設定が必要 • KVM ベースの GPU インスタンスに GPU を割り当てる • nvidia dockerは特別なハードウェア設定なしに使用できる • OpenStackから Kubernetes や Docker コンテナを操作するた めの仕組みを導入する必要がある 26
- 27. GPUノードにおける整理 どちらを選択するのがよいのか？ PCI パススルー nvidia docker 強み 多目的（VDI/HPC/DL） で利用可能 環境構築が簡単 弱み 特別な環境設定が必要 • HPCやDLの用途に限定 • リソース競合の懸念 • OpenStackとの連携に課題 27 用途に合わせて選択するのがよいと考えます。 OpenStack + nvidia docker については NTT コミュニケーションズ様 が調査を行い発表しているので参考するとよいです。 https://www.slideshare.net/VirtualTech-JP/gpu-container-as-a-serviceoss-openstack-20177
- 28. General purposeノードにおける整理 コンテナ技術が注目される理由 トレンドについての説明 • アプリケーション開発者の熱狂的な支持 • 「作って、壊せる」環境の手軽さ • クラウド・ネイティブ・アプリケーションの増加 • DevOps や Immutable Infrastructure の推進 • 通信事業者でのコンテナ技術の採用の流れ • NFV領域やサービスプラットフォームなどでの適用検討 現時点においてHypervisorとContainerのどちらを選択してもよ いが、今後Containerを採用するユースケースが増加すると想定 Hypervisor上にContainerを乗せることはできるが、ベアメタル サーバ上にContainerを乗せる方式が一般的になると予想 28
- 29. 参考情報）OpenStack Summit Boston 2017 での発表 AT&T’s Container Strategy and OpenStack‘s Role in it 29 Today: • OpenStack on コンテナ （OpenStackのコントローラノードを コンテナ上で稼働） 2018-19: • コンテナアプリケーションの増加と ハイパーバイザー型アプリケーションの 減少 • NFVでのVNFアプリケーションのコンテ ナ化（POCレベル） 2019+: • VNFアプリケーションのコンテナ化が 一般的に
- 30. コンテナ/ハイパーバイザーについての整理 • GPUノードにおける整理 • 用途に合わせて選択する • HypervisorでGPUを使用するために特別なH/W設定が必要なので、1 台のGPUサーバでHypervisor/Containerを混在することはできない • General purposeノードにおける整理 • 現時点においてHypervisorとContainerのどちらを選択してもよいが、 今後Containerを採用するユースケースが増加すると想定 • Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ 上にContainerを乗せる方式が一般的になると予想 30
- 31. 構成案 31
- 32. Container nodes POC#1の構成案（ハードウェア） Edge Controllers • Physical Provisioning • Monitoring /Alerting • Application Provisioning • Orchestrator • SDN POC#1のControllersの多重化は行わない想定 • GPU • General purpose
- 33. Container nodes POC#1の構成案（ソフトウェア） Edge Controllers • Physical Provisioning • Monitoring /Alerting • Application Provisioning • Orchestrator • SDN POC#1のControllersの多重化は行わない想定 • GPU • General purpose MAAS/Juju Prometheus / Grafana Kubernetes vMX nvidia docker docker Contrail Contrail vRouter
- 34. Appendix 34
- 35. Vehicle(s) Vehicle ServicesCarrier(s) Connected Car solution overview 35 Sensor & Vison & GPS Steering ECU TCU ECU: Electric Control Unit TCU: Telematic Control Unit Brake ECU Suspension ECU Driveline ECU Controller Smart Highway Infra Other VehiclesNF Comm- unication / Radio Internet Services Connected Vehicles Services 4G / 5G Connected Vehicles Services • Mobility Management • Vehicle Management • Safety • Entertainment • Driver Assistance Autonomous Vehicles Services 4G / 5G Autonomous Vehicles Services • Safety Record