SlideShare a Scribd company logo
データプロダクト開発を成功に導くには
堀澤健太 
NB 本部
テクノロジープラットフォームユニット
データエンジニアリング2グループ
グループマネージャー
1
アジェンダ
1. 自己紹介
2. リクルートライフスタイルの紹介
3. データプロダクトとは
4. 不確実性に強い組織
5. データプロダクト開発を支える基盤
6. まとめ
01
自己紹介
堀澤健太
株式会社リクルートライフスタイル
グループマネージャー 兼 エンジニア
戦略立案、組織設計、メンバー育成・評価、採用
データプロダクト開発
チーム外への技術コンサル、R&D
@horiken4
自己紹介02
自己紹介
Google Cloud Next in Tokyo ‘18 リクルートライフスタイルにおける
深層学習の活用とGCPでの実現方法
https://www.youtube.com/watch?v=X_yavAFAE4I
Cloud On Air リクルートライフスタイルにおけるデジタルトランスフォーメー
ションとクラウド活用
https://cloudplatform-jp.googleblog.com/2018/07/Cloud-OnAir-gcp-rec
ruit-lifestyle-20180712.html
03
リクルートライフスタイルの紹介
リクルートのビジネスモデル04
クライアントとユーザーを結びつける
対価としてクライアントからフィーを受領
ユーザー クライアント
リクルートライフスタイルのサービス05
データプロダクトとは
データプロダクトとは
サービスから収集されたデータを活用して価値を創出するプロダクト
06
既存サービスのグロース データの活用を前提とした新規サービス
データプロダクトにより実現したいこと07
チャットボットでお店を検索できるようにしたい
サイト内検索順を調整して売上げを増やしたい
ユーザーにおすすめのお店を推薦したい
データプロダクトのライフサイクル08
案件発生
企画プレ
分析
バッチ開発
前処理
モデリング
API開発
LP開発
QAテスト
ABテスト
評価
本番反映 運用
データプロダクトの不確実性を高める要因
選択肢が多い
09
関係者が多い
ドメインが広い
不確実性への対処
良いソリューションに近づくためには
試行錯誤を広く、素早く、小さくできる環境が必要
10
不確実性への対処
良いソリューションに近づくためには
試行錯誤を広く、素早く、小さくできる環境が必要
リーンアプローチ
合意形成コストの最小化 クラウドの活用 早すぎる最適化を避ける
11
不確実性に強い組織
不確実性に強い組織12
状況が変化してもソリューション探索の早さに影響が無い
方針の変更が容易
合意形成が容易
不確実性に強い組織13
三位一体
ビジネス、エンジニア、データサイエンティストでワンチーム
組織を横断しないのでコミュニケーションコストが小さい
意思決定しやすい
不確実性に強い組織14
専門領域を強みとして他の領域も理解する
お互いある程度他の職務に関する知識、スキルがある
変化があったとしても、意思の疎通がしやすく、意思決定が早い
エンジニアリング データサイエンス
ビジネス
不確実性に強い組織15
自律的に動く
意思決定はチーム内、担当者同士で
変化が大きい環境ではトップダウン的な指示はボトルネックになる
マネージャーは1対1の小MTGでキャッチアップ
不確実性に強い組織16
サービス担当者から信頼されているビジネス側メンバーを配置
サービス側との合意形成が容易
テンポよく施策を推進できる
採用を妥協しない
独自のコーディング試験、モデリング試験を実施
ベースのスキルに加えて利益貢献に対する意欲が重要
CETチーム
Capture EveryThing
あらゆるデータを収集することを目的に発足
現在はデータの利活用側へシフト
データプロダクト開発により価値を創出することがミッション
17
CETチーム18
CETチーム
CETチーム
ビジネス
分析によるインサイトの発見
データプロダクトによるサービスグロースの起案
データサイエンティスト
分析によるインサイトの発見
施策起案、モデリング
エンジニア
基盤システムの開発、運用
施策に特化したデータプロダクト開発、運用
データ・MLエンジニア、フロントエンド・バックエンド・アプリエンジニア
19
チーム体制20
エンジニア データサイエンティスト
ビジネス
案件の発生
サービス側担当者
少チームを結成して
データプロダクト開発を推進CET チーム
データプロダクト開発を支える基盤
基盤システムに求められること
データプロダクト開発における試行錯誤を
効率的に行うことを可能にする
21
システムは疎結合に
高いサービスレベルを求めすぎない
迅速なデプロイ環境
コミュニケーションを少なく
適切なレイヤー分け
ETL (extract, transform, load)
マートはビジネスの意思決定にも利用される
高いサービスレベルが求められる
変化はそこまで多くなく 硬い
22
データプロダクト開発
試行錯誤が多く、素早い検証が求められる
サービスレベルはそこまで高い必要は無い
変化が多く柔らかい
サービスレベルや変化の頻度が違うシステムが
同じチームの責務にならないほうが良い
適切なレイヤー分け23
  CET基盤
案件1 案件2 案件N
ストリーミングデータ収集
BLT
日時バッチによるマート作成
利活用のレイヤーは
柔軟に変化できる
・・・
BLTについて
https://www.slideshare.net/RecruitLifestyle/ss-119541717
汎用API
機械学習の予測結果をサービング
KVSをリクエストパスに含まれるキーで取得し返す
非エンジニアでも簡単にAPIを作成
TSVアップロードで即APIとして利用可能に
24
案件発生
企画プレ
分析
バッチ開発
前処理
モデリング
API開発
LP開発
QAテスト
ABテスト
評価
本番反映 運用
汎用API25
User
GET request
TSV
Data scientist
ML Batch
Web server
GCP
Bigtable
 
 
AWS
S3
MLバッチ処理基盤26
テンプレを使いながらデータサイエンティストがバッチを作成
エンジニアは必要ない
最低限品質を担保できる
デプロイの自動化
Github FlowとCI/CDツールによりデプロイを手軽に
試行錯誤がしやすい
案件発生
企画プレ
分析
バッチ開発
前処理
モデリング
API開発
LP開発
QAテスト
ABテスト
評価
本番反映 運用
MLバッチ処理基盤27
DAG
デプロイ
起動
データ
予測結果
Script
Web hook
Docker
image
Data scientist
Engeenier
Batch
Instance
API Data
Loader
GCP
BigQuerycommit/merge/tag
Airflow
cetflow28
MLバッチ基盤でエンジニア工数を削減できたが…
データサイエンティストがバッチを作ること自体が辛い
オンライン予測ができない
機会損失になっているかも
cetflow29
cetflow
JupyterHubによるリソースが十分な分析・モデリング環境
Jupyter Notebookをそのままバッチとして運用
scikit-learn モデルのサービング
コードレビューの自動化で最低限の品質は担保
案件発生
企画プレ
分析
バッチ開発
前処理
モデリング
API開発
LP開発
QAテスト
ABテスト
評価
本番反映 運用
cetflow01
https://engineer.recruit-lifestyle.co.jp/techblog/2018-10-04-ml-platform/
LPO基盤
FEの変更が伴う場合リードタイムが比較的長い
チーム外担当者とのリリース時期調整など
QAリソースの確保
サービスのHTMLを部分的にサービングする
チーム内で自由にFEを変更
関係者との合意形成を簡易に
30
案件発生
企画プレ
分析
バッチ開発
前処理
モデリング
API開発
LP開発
QAテスト
ABテスト
評価
本番反映 運用
LPO基盤31
AWS
Route 53
AWS
S3
GCP
LB
GET
Request
ABテスト
対象ページ
Reverse
Proxy
通常
ページ
異常発生時は
サービスへリダイレクト
ABテスト対象ページを配信
User
Health
check
まとめ
まとめ
リーンアプローチ
不確実性が高いのでまずは小さくやってみる
試行錯誤を素早く
試行錯誤を高速に行える環境づくり
組織観点、技術観点
チームで完結した推進
クラウドの利用
マネージド環境によるインフラ運用からの解放
本来のデータプロダクト開発にフォーカス
32
謝辞
Photo by Annie Spratt on Unsplash
Photo by Guillaume Jaillet on Unsplash
Icons made by Roundicons from flaticon
Icons made by Icon Pond from flaticon
33

More Related Content

PDF
見やすいプレゼン資料の作り方 - リニューアル増量版
MOCKS | Yuta Morishige
 
PPTX
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Tokoroten Nakayama
 
PDF
ゼロからはじめるプロダクトマネージャー生活
Takaaki Umada
 
PPTX
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
 
PDF
ゼロから作るKubernetesによるJupyter as a Service ー Kubernetes Meetup Tokyo #43
Preferred Networks
 
PPTX
XAI (説明可能なAI) の必要性
西岡 賢一郎
 
PDF
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
 
PDF
Lean coffee
Takeshi Arai
 
見やすいプレゼン資料の作り方 - リニューアル増量版
MOCKS | Yuta Morishige
 
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Tokoroten Nakayama
 
ゼロからはじめるプロダクトマネージャー生活
Takaaki Umada
 
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
 
ゼロから作るKubernetesによるJupyter as a Service ー Kubernetes Meetup Tokyo #43
Preferred Networks
 
XAI (説明可能なAI) の必要性
西岡 賢一郎
 
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
 
Lean coffee
Takeshi Arai
 

What's hot (20)

PDF
IT系エンジニアのためのプレゼンテーション入門
Masahito Zembutsu
 
PDF
ビジネスパーソンのためのDX入門講座エッセンス版
Tokoroten Nakayama
 
PDF
プロダクトの強い軸を作るプロダクトマネジメントフレームワーク
kumiko koshiro
 
PPTX
コミュニケーション戦略を前提にしたOutlookやTeams活用
Daiyu Hatakeyama
 
PDF
ChatGPTがもたらす未来予測
Koji Fukuoka
 
PDF
失敗から学ぶ機械学習応用
Hiroyuki Masuda
 
PDF
「ユーザーを理解するって言うほどカンタンじゃないよね」 UXデザイン・UXリサーチをもう一度ちゃんと理解しよう!
Yoshiki Hayama
 
PDF
「UXデザインとは」からはじめる「本流」のUXデザインはじめの一歩 | UXデザイン基礎セミナー 第1回
Yoshiki Hayama
 
PDF
心理的安全性を 0から80ぐらいに上げた話
Yusuke Hisatsu
 
PDF
機械学習で泣かないためのコード設計
Takahiro Kubo
 
PDF
アジャイル開発の現在・過去・未来~今を知り、源流を訪ね、先を見据える~
Kenji Hiranabe
 
PDF
UXデザインの資格ってどんなの? HCD-Net認定 人間中心設計スペシャリスト・人間中心設計専門家
Yoshiki Hayama
 
PDF
ナレッジグラフとオントロジー
University of Tsukuba
 
PDF
UXデザインの理論・プロセス・手法の体系とポイント
Masaya Ando
 
PDF
UTP(UML Testing Profile)概要紹介
Noriyuki Mizuno
 
PDF
機械学習品質管理・保証の動向と取り組み
Shintaro Fukushima
 
PDF
レコメンドアルゴリズムの基本と周辺知識と実装方法
Takeshi Mikami
 
PDF
WordPressと外部APIとの連携
Hidekazu Ishikawa
 
PDF
Getting started with MLOps
yusuke shibui
 
PPTX
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
 
IT系エンジニアのためのプレゼンテーション入門
Masahito Zembutsu
 
ビジネスパーソンのためのDX入門講座エッセンス版
Tokoroten Nakayama
 
プロダクトの強い軸を作るプロダクトマネジメントフレームワーク
kumiko koshiro
 
コミュニケーション戦略を前提にしたOutlookやTeams活用
Daiyu Hatakeyama
 
ChatGPTがもたらす未来予測
Koji Fukuoka
 
失敗から学ぶ機械学習応用
Hiroyuki Masuda
 
「ユーザーを理解するって言うほどカンタンじゃないよね」 UXデザイン・UXリサーチをもう一度ちゃんと理解しよう!
Yoshiki Hayama
 
「UXデザインとは」からはじめる「本流」のUXデザインはじめの一歩 | UXデザイン基礎セミナー 第1回
Yoshiki Hayama
 
心理的安全性を 0から80ぐらいに上げた話
Yusuke Hisatsu
 
機械学習で泣かないためのコード設計
Takahiro Kubo
 
アジャイル開発の現在・過去・未来~今を知り、源流を訪ね、先を見据える~
Kenji Hiranabe
 
UXデザインの資格ってどんなの? HCD-Net認定 人間中心設計スペシャリスト・人間中心設計専門家
Yoshiki Hayama
 
ナレッジグラフとオントロジー
University of Tsukuba
 
UXデザインの理論・プロセス・手法の体系とポイント
Masaya Ando
 
UTP(UML Testing Profile)概要紹介
Noriyuki Mizuno
 
機械学習品質管理・保証の動向と取り組み
Shintaro Fukushima
 
レコメンドアルゴリズムの基本と周辺知識と実装方法
Takeshi Mikami
 
WordPressと外部APIとの連携
Hidekazu Ishikawa
 
Getting started with MLOps
yusuke shibui
 
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
 
Ad

Similar to データプロダクト開発を成功に導くには (20)

PPT
E school japan waseda july11
Stanford University
 
PDF
【TFSUG】プロダクトオーナーシップ
shibao800
 
PDF
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
Deep Learning Lab(ディープラーニング・ラボ)
 
PDF
20131213 itサービスに求められる人材像
jun_suto
 
PDF
顧客開発モデル概要(Samurai Venture Summit 4)
Takashi Tsutsumi
 
PDF
Air事業のデザイン組織とデザイナー
Recruit Lifestyle Co., Ltd.
 
PDF
【eLV】ITコンサルタントへの第一歩シリーズ ~セルフブランディング戦略~
満徳 関
 
PPT
Ki sales solutions 1
koichi ikeda
 
PDF
大企業のためのリーンスタートアップ ~不確実性への挑戦 0.2~
naoto kyo
 
PDF
「ビジネスモデルYOU」ワークショップ(BMGとBMYで何かやる #6 )公開用
masashi takehara
 
PDF
「アプリ向けのグロースハック最前線」登壇資料
growthhackstudio
 
PPTX
Saga Smart Center: データ分析の基礎
Daiyu Hatakeyama
 
PPTX
アジャイルジャパン2015 講演資料
KDDI
 
PDF
『ビッグデータ時代を勝ち抜くデータマネジメント』 セミナー資料
Akihiko Uchino
 
PDF
【eLV】ITコンサルタントへの第一歩シリーズ ~自分ブランディング戦略~ #eLV勉強会
満徳 関
 
PDF
とりあえず30分でひととおり分かった気にはなれるアジャイル入門
陽一 滝川
 
PDF
BizとDevが協業し、良いプロダクトを作るために知っておきたい考え方
Natsuki Nishiyama
 
PPTX
Vantan shinsuke miyaki_upload
Shinsuke Miyaki
 
PDF
Xp2
Toru Koido
 
E school japan waseda july11
Stanford University
 
【TFSUG】プロダクトオーナーシップ
shibao800
 
[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略
Deep Learning Lab(ディープラーニング・ラボ)
 
20131213 itサービスに求められる人材像
jun_suto
 
顧客開発モデル概要(Samurai Venture Summit 4)
Takashi Tsutsumi
 
Air事業のデザイン組織とデザイナー
Recruit Lifestyle Co., Ltd.
 
【eLV】ITコンサルタントへの第一歩シリーズ ~セルフブランディング戦略~
満徳 関
 
Ki sales solutions 1
koichi ikeda
 
大企業のためのリーンスタートアップ ~不確実性への挑戦 0.2~
naoto kyo
 
「ビジネスモデルYOU」ワークショップ(BMGとBMYで何かやる #6 )公開用
masashi takehara
 
「アプリ向けのグロースハック最前線」登壇資料
growthhackstudio
 
Saga Smart Center: データ分析の基礎
Daiyu Hatakeyama
 
アジャイルジャパン2015 講演資料
KDDI
 
『ビッグデータ時代を勝ち抜くデータマネジメント』 セミナー資料
Akihiko Uchino
 
【eLV】ITコンサルタントへの第一歩シリーズ ~自分ブランディング戦略~ #eLV勉強会
満徳 関
 
とりあえず30分でひととおり分かった気にはなれるアジャイル入門
陽一 滝川
 
BizとDevが協業し、良いプロダクトを作るために知っておきたい考え方
Natsuki Nishiyama
 
Vantan shinsuke miyaki_upload
Shinsuke Miyaki
 
Ad

More from Recruit Lifestyle Co., Ltd. (20)

PDF
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
Recruit Lifestyle Co., Ltd.
 
PPTX
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
 
PDF
OOUIを実践してわかった、9つの大切なこと
Recruit Lifestyle Co., Ltd.
 
PDF
Flutter移行の苦労と、乗り越えた先に得られたもの
Recruit Lifestyle Co., Ltd.
 
PDF
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
Recruit Lifestyle Co., Ltd.
 
PDF
「進化し続けるインフラ」のためのマルチアカウント管理
Recruit Lifestyle Co., Ltd.
 
PDF
リクルートライフスタイル AirシリーズでのUXリサーチ
Recruit Lifestyle Co., Ltd.
 
PDF
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
Recruit Lifestyle Co., Ltd.
 
PPTX
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
 
PDF
Real-time personalized recommendation using embedding
Recruit Lifestyle Co., Ltd.
 
PDF
データから価値を生み続けるには
Recruit Lifestyle Co., Ltd.
 
PDF
Jupyter だけで機械学習を実サービス展開できる基盤
Recruit Lifestyle Co., Ltd.
 
PDF
SQLを書くだけでAPIが作れる基盤
Recruit Lifestyle Co., Ltd.
 
PDF
BtoBサービスならではの顧客目線の取り入れ方
Recruit Lifestyle Co., Ltd.
 
PDF
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Recruit Lifestyle Co., Ltd.
 
PDF
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
Recruit Lifestyle Co., Ltd.
 
PDF
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
 
PDF
Refactoring point of Kotlin application
Recruit Lifestyle Co., Ltd.
 
PDF
データサイエンティストとエンジニア 両者が幸せになれる機械学習基盤を求めて
Recruit Lifestyle Co., Ltd.
 
PDF
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
Recruit Lifestyle Co., Ltd.
 
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
Recruit Lifestyle Co., Ltd.
 
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
 
OOUIを実践してわかった、9つの大切なこと
Recruit Lifestyle Co., Ltd.
 
Flutter移行の苦労と、乗り越えた先に得られたもの
Recruit Lifestyle Co., Ltd.
 
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
Recruit Lifestyle Co., Ltd.
 
「進化し続けるインフラ」のためのマルチアカウント管理
Recruit Lifestyle Co., Ltd.
 
リクルートライフスタイル AirシリーズでのUXリサーチ
Recruit Lifestyle Co., Ltd.
 
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
Recruit Lifestyle Co., Ltd.
 
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
 
Real-time personalized recommendation using embedding
Recruit Lifestyle Co., Ltd.
 
データから価値を生み続けるには
Recruit Lifestyle Co., Ltd.
 
Jupyter だけで機械学習を実サービス展開できる基盤
Recruit Lifestyle Co., Ltd.
 
SQLを書くだけでAPIが作れる基盤
Recruit Lifestyle Co., Ltd.
 
BtoBサービスならではの顧客目線の取り入れ方
Recruit Lifestyle Co., Ltd.
 
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Recruit Lifestyle Co., Ltd.
 
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
Recruit Lifestyle Co., Ltd.
 
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
 
Refactoring point of Kotlin application
Recruit Lifestyle Co., Ltd.
 
データサイエンティストとエンジニア 両者が幸せになれる機械学習基盤を求めて
Recruit Lifestyle Co., Ltd.
 
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
Recruit Lifestyle Co., Ltd.
 

データプロダクト開発を成功に導くには