Abstract image of a woman sitting on books and studying on a laptop

オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

Yahoo!デベロッパーネットワーク, profile picture
Yahoo!デベロッパーネットワーク

2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。オンプレミス環境のKubernetesを使って構築した機械学習基盤の開発、運用の取り組みをご紹介します。 https://ml-kubernetes.connpass.com/event/239859/

Technology
1 of 35
Downloaded 18 times
1
2
3
4
Most read
5
Most read
6
Most read
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

More Related Content

PDF
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
 
PDF
LakeTahoe
Yahoo!デベロッパーネットワーク
 
PDF
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
 
PDF
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
KafkaとPulsar
Yahoo!デベロッパーネットワーク
 
PDF
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
 
PDF
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
 
PPTX
Dockerからcontainerdへの移行
Akihiro Suda
 
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
 
LakeTahoe
Yahoo!デベロッパーネットワーク
 
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
 
KafkaとPulsar
Yahoo!デベロッパーネットワーク
 
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
 
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
 
Dockerからcontainerdへの移行
Akihiro Suda
 

What's hot (20)

PDF
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
Hironobu Suzuki
 
PDF
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
 
PDF
ゼロから作るKubernetesによるJupyter as a Service ー Kubernetes Meetup Tokyo #43
Preferred Networks
 
PDF
Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～
NTT DATA OSS Professional Services
 
PDF
まずやっとくPostgreSQLチューニング
Kosuke Kida
 
PDF
YugabyteDBを使ってみよう（NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料）
NTT DATA Technology & Innovation
 
PPTX
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「 融合情報学特別講義Ⅲ」）
Preferred Networks
 
PDF
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
Yahoo!デベロッパーネットワーク
 
PPTX
Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）
NTT DATA Technology & Innovation
 
PDF
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
 
PDF
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Hibino Hisashi
 
PDF
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
NTT DATA Technology & Innovation
 
PDF
Dockerからcontainerdへの移行
Kohei Tokunaga
 
PDF
株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game...
Google Cloud Platform - Japan
 
PPTX
PostgreSQL 12は ここがスゴイ！ ～性能改善やpluggable storage engineなどの新機能を徹底解説～ （NTTデータ テクノ...
NTT DATA Technology & Innovation
 
PDF
PGOを用いたPostgreSQL on Kubernetes入門（PostgreSQL Conference Japan 2022 発表資料）
NTT DATA Technology & Innovation
 
PDF
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Preferred Networks
 
PDF
Topology Managerについて / Kubernetes Meetup Tokyo 50
Preferred Networks
 
PPTX
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
 
PPTX
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -（db tech showcase 2021 / ONLINE 発...
NTT DATA Technology & Innovation
 
PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)
Hironobu Suzuki
 
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
 
ゼロから作るKubernetesによるJupyter as a Service ー Kubernetes Meetup Tokyo #43
Preferred Networks
 
Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～
NTT DATA OSS Professional Services
 
まずやっとくPostgreSQLチューニング
Kosuke Kida
 
YugabyteDBを使ってみよう（NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料）
NTT DATA Technology & Innovation
 
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「 融合情報学特別講義Ⅲ」）
Preferred Networks
 
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
Yahoo!デベロッパーネットワーク
 
Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）
NTT DATA Technology & Innovation
 
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
 
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Hibino Hisashi
 
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
NTT DATA Technology & Innovation
 
Dockerからcontainerdへの移行
Kohei Tokunaga
 
株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game...
Google Cloud Platform - Japan
 
PostgreSQL 12は ここがスゴイ！ ～性能改善やpluggable storage engineなどの新機能を徹底解説～ （NTTデータ テクノ...
NTT DATA Technology & Innovation
 
PGOを用いたPostgreSQL on Kubernetes入門（PostgreSQL Conference Japan 2022 発表資料）
NTT DATA Technology & Innovation
 
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Preferred Networks
 
Topology Managerについて / Kubernetes Meetup Tokyo 50
Preferred Networks
 
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
 
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -（db tech showcase 2021 / ONLINE 発...
NTT DATA Technology & Innovation
 
Ad

More from Yahoo!デベロッパーネットワーク (20)

PDF
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
 
PDF
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
 
PDF
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
 
PDF
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
 
PDF
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
ヤフーを支えるセキュリティ ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
新技術を使った次世代の商品の見せ方 ～ヤフオク!のマルチビュー機能～ #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
PC版Yahoo!メールリニューアル ～サービスのUI/UX統合と改善プロセス～ #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
 
PDF
The potential of Kubernetes as more than just an infrastructure to deploy
Yahoo!デベロッパーネットワーク
 
PDF
Yahoo! ニュースにおける ドキュメント管理の事例紹介
Yahoo!デベロッパーネットワーク
 
PDF
ライフステージの変化の中で エンジニア管理職として働くコツ #devsumi A-5
Yahoo!デベロッパーネットワーク
 
PDF
ユーザー情報格納基盤におけるApache Pulsarの利用事例
Yahoo!デベロッパーネットワーク
 
PDF
Yahoo! JAPANを支えるログ・メトリクス転送システムのE2Eモニタリングの取り組み
Yahoo!デベロッパーネットワーク
 
PDF
Apache Pulsarのデモ
Yahoo!デベロッパーネットワーク
 
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
 
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
 
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
 
ヤフーを支えるセキュリティ ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc
Yahoo!デベロッパーネットワーク
 
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
 
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
 
新技術を使った次世代の商品の見せ方 ～ヤフオク!のマルチビュー機能～ #yjtc
Yahoo!デベロッパーネットワーク
 
PC版Yahoo!メールリニューアル ～サービスのUI/UX統合と改善プロセス～ #yjtc
Yahoo!デベロッパーネットワーク
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
 
The potential of Kubernetes as more than just an infrastructure to deploy
Yahoo!デベロッパーネットワーク
 
Yahoo! ニュースにおける ドキュメント管理の事例紹介
Yahoo!デベロッパーネットワーク
 
ライフステージの変化の中で エンジニア管理職として働くコツ #devsumi A-5
Yahoo!デベロッパーネットワーク
 
ユーザー情報格納基盤におけるApache Pulsarの利用事例
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPANを支えるログ・メトリクス転送システムのE2Eモニタリングの取り組み
Yahoo!デベロッパーネットワーク
 
Apache Pulsarのデモ
Yahoo!デベロッパーネットワーク
 
Ad

Recently uploaded (20)

PDF
CXOs-Are-you-still-doing-manual-DevOps-in-the-age-of-AI.pdf
Kalilur Rahman
 
PPTX
AI-driven Assurance Across Your End-to-end Network With ThousandEyes
ThousandEyes
 
PDF
SaaS reusability assessment using machine learning techniques
IAESIJAI
 
PDF
4 layer Arch & Reference Arch of IoT.pdf
sendilkumar66
 
PDF
The-2025-Engineering-Revolution-AI-Quality-and-DevOps-Convergence.pdf
Kalilur Rahman
 
PPTX
MuleSoft-Compete-Deck for midddleware integrations
zupittejas
 
PPTX
Internet of Everything -Basic concepts details
sendilkumar66
 
PDF
IT-ITes Industry bjjbnkmkhkhknbmhkhmjhjkhj
yatharthjutt100311
 
PPTX
Microsoft User Copilot Training Slide Deck
zohoron1
 
PDF
Improvisation in detection of pomegranate leaf disease using transfer learni...
IAESIJAI
 
PDF
Convolutional neural network based encoder-decoder for efficient real-time ob...
IAESIJAI
 
PDF
Electrocardiogram sequences data analytics and classification using unsupervi...
IAESIJAI
 
PPTX
Module 1 Introduction to Web Programming .pptx
kamleshkc191
 
PDF
Enhancing plagiarism detection using data pre-processing and machine learning...
IAESIJAI
 
PDF
Data Virtualization in Action: Scaling APIs and Apps with FME
Safe Software
 
PDF
Transform-Your-Streaming-Platform-with-AI-Driven-Quality-Engineering.pdf
Kalilur Rahman
 
PDF
Co-training pseudo-labeling for text classification with support vector machi...
IAESIJAI
 
PDF
Rapid Prototyping: A lecture on prototyping techniques for interface design
Mark Billinghurst
 
PDF
INTERSPEECH 2025 「Recent Advances and Future Directions in Voice Conversion」
NU_I_TODALAB
 
PPTX
Training Program for knowledge in solar cell and solar industry
RabindranathKaibarty
 
CXOs-Are-you-still-doing-manual-DevOps-in-the-age-of-AI.pdf
Kalilur Rahman
 
AI-driven Assurance Across Your End-to-end Network With ThousandEyes
ThousandEyes
 
SaaS reusability assessment using machine learning techniques
IAESIJAI
 
4 layer Arch & Reference Arch of IoT.pdf
sendilkumar66
 
The-2025-Engineering-Revolution-AI-Quality-and-DevOps-Convergence.pdf
Kalilur Rahman
 
MuleSoft-Compete-Deck for midddleware integrations
zupittejas
 
Internet of Everything -Basic concepts details
sendilkumar66
 
IT-ITes Industry bjjbnkmkhkhknbmhkhmjhjkhj
yatharthjutt100311
 
Microsoft User Copilot Training Slide Deck
zohoron1
 
Improvisation in detection of pomegranate leaf disease using transfer learni...
IAESIJAI
 
Convolutional neural network based encoder-decoder for efficient real-time ob...
IAESIJAI
 
Electrocardiogram sequences data analytics and classification using unsupervi...
IAESIJAI
 
Module 1 Introduction to Web Programming .pptx
kamleshkc191
 
Enhancing plagiarism detection using data pre-processing and machine learning...
IAESIJAI
 
Data Virtualization in Action: Scaling APIs and Apps with FME
Safe Software
 
Transform-Your-Streaming-Platform-with-AI-Driven-Quality-Engineering.pdf
Kalilur Rahman
 
Co-training pseudo-labeling for text classification with support vector machi...
IAESIJAI
 
Rapid Prototyping: A lecture on prototyping techniques for interface design
Mark Billinghurst
 
INTERSPEECH 2025 「Recent Advances and Future Directions in Voice Conversion」
NU_I_TODALAB
 
Training Program for knowledge in solar cell and solar industry
RabindranathKaibarty