【TECHTRACKJP】私ってデータエンジニアなんですか？気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
0 likes248 views
2023/07/25に開催された 「データエンジニアのキャリア戦略を考える。 キャリアアップ inメガベンチャー vs 立ち上げ inスタートアップ」の登壇資料です。 https://tech-track.connpass.com/event/288079/
【TECHTRACKJP】私ってデータエンジニアなんですか？気づいたらデータエンジニアと呼ばれるようになった私がこの職種について考えた【20230725】
- 1. 私ってデータエンジニアなんですか？ 気づいたらデータエンジニアと呼ばれるようになった 私がこの職種について考えた #TRACKTECHJP 1 2023.7.25 © 2020 MonotaRO Co., Ltd. All Rights Reserved.
- 2. ● 名前 ○ 斎藤貴文 ● 略歴 ○ 2013年 株式会社サイバーエージェント入社 ■ OSSでデータ基盤の構築・運用 ■ メディアサービスのデータモデリング ○ 2022年 株式会社MonotaRO入社 ■ ざっくりデータマネジメント業 2 自己紹介
- 3. ● 新卒で入社してからずっとデータ基盤の構築・運用や データマネジメントの業務をしていました ● 気づいたらデータエンジニアという職種が登場 ● データエンジニアができる前からデータエンジニアな 私が今の状況とキャリアについて考えてみます 3 今回の発表内容
- 4. ● どうしてデータエンジニアができたのか ● データエンジニアの現状 ● データエンジニアのこれから ○ モノタロウでの取り組み 4 アジェンダ
- 6. ● ビジネスはオフラインがメイン ○ オンラインはあくまでオフラインへの入口 ● データとは業務システムのデータ ○ 業務の中で必要な情報を記録していた（SoR） ○ データを見るのは業務の状況把握が主目的 ○ 業務レポートやシステムの監視など ● → 業務がデータを作り出す時代 6 ビッグデータ前夜(私が社会人になる前なので解像度は大分低いかもしれません) 業務 観測
- 7. ● ビジネスはオフラインからオンラインへ ○ 今までの業務データだけではなく、 ユーザーの行動をトラッキングするデータ(SoE)が出現 ● SoEとSoRのデータを組み合わせて ビジネスのインサイトを見つける需要が増大 ○ データサイエンスの発展 ● → 分析がデータを使う時代 7 ビッグデータ初期の傾向(斎藤が社会人になった前後) 業務 利用
- 8. ● ビジネスはますますオンラインへ ● データの利用用途とデータのバリュエーションが増加 ● 推薦・検索・ABテストなど業務と分析との連携が重要になる ○ データの品質が分析の結果に影響が出る時代 ● → あるデータを使うではなく、使えるデータを選ぶ時代へ ● 使えるデータを管理する必要がありデータエンジニアが誕生 8 ビッグデータの成熟から現代へ 業務 利用 管理
- 10. ● データの利用状況が変わるにつれ、 データに関するプロダクトも多く出現した ○ NoSQL, NewSQL, SaaS, ETL tools, BI, etc. ○ データ基盤を用意するだけなら誰でも簡単にできる時代 ● データマネジメントのノウハウも世間には溢れている ● ツールが整っているのであれば、 データエンジニアを雇わなくても大丈夫なのでは？ 10 技術も発展している
- 11. ● 楽になった部分は汎用性の高い三層スキーマでいう物理層の部分 ● 概念層・論理層はむしろ複雑化の傾向 ● ビジネスによって状況が異なるため一般化・汎化が難しい ● 容易になった部分と複雑化した部分の乖離が大きくなっている 11 ......実は楽になっていない？ 物理: 実データの保存や処理を管理 論理: ビジネスモデルをデータ表現として管理 概念: ビジネスに基づいたモデルを管理 容易化 複雑化 年々乖離
- 12. 12 データマネジメントのマトリクス （概念、物理） （外部、物理） (内部、論理) （概念、論理） （外部、論理） (内部、概念) （概念、概念） （外部、概念） （内部、物理） システム上の高低 データの流れ
- 13. （概念、物理） （外部、物理） (内部、論理) （概念、論理） （外部、論理） (内部、概念) （概念、概念） （外部、概念） （内部、物理） 概念・論理・物理の三層で整理 システム上の高層・低層に対応 ANSI/SPARCの三層スキーマを参考に 内部・概念・外部の三層で整理 データの生成・管理・利用の流れに対応 13 データマネジメントのマトリクス
- 14. （外部、概念） 14 データマネジメントのマトリクス システム上の高低 データの流れ （概念、物理） （外部、物理） （概念、論理） (内部、論理) （外部、論理） (内部、概念) （概念、概念） （内部、物理） データエンジニアは この領域での課題を解決する
- 15. （概念、概念） 15 データマネジメントのマトリクス システム上の高低 データの流れ （概念、物理） （外部、物理） (内部、論理) （概念、論理） （外部、論理） (内部、概念) （外部、概念） （内部、物理） 特に概念層と論理層が これから重要になっていく
- 16. データエンジニアのこれから 16
- 17. ● 前述の通り、容易化した部分と複雑化した部分の乖離が大きい ● 容易化した部分はツールを使えるようになることで解決可能 ○ ただし、容易化しているため誰にでもできるとも言える ● 専門家として必要なのは 「複雑化する要求を解決できるようにする」能力 ○ 現実の業務・ビジネス上の要求を理解する力 ○ 要求を抽象化しモデル化する力 ○ ツール・ノウハウを利用したり、人と協力して問題を解決する（させる）力 ● → データエンジニアとして特別なスキルがあるというより ソフトウェアエンジニア、ビジネスマンとしてのスキルが重要 17 データエンジニアとしてのスキル
- 18. 18 モノタロウでの取り組み例 （概念、物理） （外部、物理） (内部、論理) （外部、論理） (内部、概念) （概念、概念） （外部、概念） （内部、物理） システム上の高低 データの流れ ①DWHテーブルの構築 データを利用する際に直接業務のデータを参照するのではなく 業務のドメインモデルと利用者の用途に基づいて 社内で共通利用可能なテーブルを構築する 業務データと利用用途のハブとして利用してもらう （概念、論理）
- 19. 19 モノタロウでの取り組み例 （概念、物理） （外部、物理） (内部、論理) （概念、論理） （外部、論理） (内部、概念) （概念、概念） （外部、概念） （内部、物理） システム上の高低 データの流れ ②CoE(Center of Excellence)の構築を目指した取り組み データエンジニアだけがいろんな要求をDWHに反映するのではなく、 各ドメインの専門家が自らDWHを変更できるようにする この体制により共通のデータモデルを全社で管理できるようにする （※今はまだできていません。構築に向けて試行錯誤中です）
- 20. ● データエンジニアは「使えるデータを管理する」ことが責務 ● データエンジニアの業務は以前よりも 楽になった部分もあるが、要求自体は複雑化している ● データエンジニアは今後は 「複雑化する要求を解決できるようにする」能力を求められる ● そんな能力を発揮したい or 身につける意欲がある方 是非モノタロウに！ ○ カジュアル面談はこちらから！ ○ QRコードは右から！ 20 まとめ
- 21. 21 © 2020 MonotaRO Co., Ltd. All Rights Reserved.