Amazon SageMaker ML Governance 3つの機能紹介
Download as PPTX, PDF•0 likes•276 views
機械学習の社会実装勉強会第18回 (https://machine-learning-workshop.connpass.com/event/269886/) の発表で利用した資料です。 発表動画はこちら https://youtu.be/X60p70aS2yw
Amazon SageMaker ML Governance 3つの機能紹介
- 1. Amazon SageMaker ML Governance 3つの機能紹介 MLプロジェクトを適切に管理する 2022/12/31 第18回勉強会
- 2. 自己紹介 ● 名前: 西岡 賢一郎 ○ Twitter: @ken_nishi ○ note: 西岡賢一郎@研究者から経営者へ (https://note.com/kenichiro) ○ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル (https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg) ● 経歴 ○ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 ○ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト ライディアを設立 ○ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 ○ CDPのスタートアップと株式会社データインフォームドの2つに所属 ○ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験
- 3. 今回のお話 ● ML Governanceが必要となる背景 ● Amazon SageMaker Role Manager ● Amazon SageMaker Model Cards ● Amazon SageMaker Dashboard ● デモ
- 4. ML Governanceが必要となる背景 ● 権限設定の複雑化 ○ 機械学習プロジェクトに関わる人材が多様化し、適切な権限の設定に手間がかかる ○ 例: MLエンジニアとデータサイエンティストで権限を分けたい ● モデル情報の管理コスト ○ モデルの生成プロセスなどの情報が様々なドキュメントで管理されている ● モデルの監視 ○ モデルの予測性能が、時間経過とともに劣化することがある (Drift) ○ モデルが期待通り挙動しているか監視し、予期せぬ挙動をした場合にアラートを飛ばす必要 がある
- 5. Amazon SageMaker ML Governance ● re:Invent 2022で発表 ● アクセスコントロールを簡素化し、MLプロジェクトの透明性を向上 ● 3つの機能 ○ Amazon SageMaker Role Manager (Demoで紹介) ■ ユーザのカスタム権限を数分で定義 ○ Amazon SageMaker Model Cards (Demoで紹介) ■ モデルの情報を文書化 ○ Amazon SageMaker Model Dashboard ■ ダッシュボード上でモデルを管理
- 6. Amazon SageMaker Role Manager
- 7. Amazon SageMaker Role Manager ● IAMの作成を簡素化 ● 事前設定されたPersona (後述) を利用して権限を付与
- 8. 事前設定されたPersona ● Personaとは、事前に設定された権限グル ープのこと ● Data Scientist, ML Ops, SageMaker Compute Roleなど必要なML Activity (後 述) を設定されたPersonaが設定されてい る
- 9. ML Activity ● SageMakerを使った機械学習に関連する 一般的なAWSタスク ● ML Jobの管理、モデルの管理、エンドポ イントの管理など、MLに関係するActivity が定義されている ● ActivityのためのIAM権限は別途必要とな るので、Roleを別途用意する必要がある ● Activityに必要なS3のバケットやECRなど も別途用意しておく必要がある
- 11. Persona: ML Ops ML OpsのPersonaでは、モデル、エンドポイント パイプラインの管理権限を必要とする
- 12. Persona: SageMaker Compute Role SageMaker Compute RoleのS3へのアクセス権限、ECRのレ ポジトリへのアクセス権限などを必要とする。
- 13. Amazon SageMaker Role Managerの所感 ● Pros ○ Personaごとに必要なML Activityが設定されているのは便利 ○ RoleやPolicy設定の参考にもなる ● Cons ○ モデル管理権限などを持ったRoleを事前に定義しておく必要があるため、事前準備の手間は 大きい ○ TerraformなどスクリプトでIAMを管理している場合、作成されたIAMが別管理となってしま う ○ 組織構造によっては、Personaの分け方が機能しない
- 14. Amazon SageMaker Model Cards
- 15. Amazon SageMaker Model Cards ● モデルに関連する情報をCardに集約 ● AWSリソース以外のモデルも管理可能だが、AWSリソースのモデルのほうが入力は楽
- 16. 全体概要 ● モデルの詳細 ○ Model Artifact: モデルを学習した結果の出力。学習済みパラメータ、推論の計算方法を記述し たモデル定義、およびその他のメタデータなど。 ○ Inference Environment: 推論を実施する環境 ○ モデルの説明 ○ モデルのバージョン ○ 問題のタイプ: Classification, Regressionなど ○ アルゴリズムタイプ: Linear Regression, Random Forestなど ○ モデルの作者 ○ モデルのオーナー ● 想定される用途 ○ 想定される用途 ○ モデルの有効性に影響を与える要因 ○ リスク度合いとその説明
- 17. Amazon SageMaker Model Cards ● 使用目的、リスク評価、トレーニングの詳細など、重要なモデル情報を管理 ● 主な機能 ○ モデル情報の取得 ■ 入力データセット、トレーニング環境、トレーニング結果などのトレーニングの詳細を 自動入力 ■ モデルの目的やパフォーマンスの目標などの詳細も追加可能 ○ 評価結果の可視化 ■ バイアスや品質指標などのモデル評価結果をモデルカードに添付 ■ グラフなどの視覚化を追加し、モデルのパフォーマンスに関する重要なインサイトを得 ることができます ○ モデルカードの共有 ■ モデルカードを PDF 形式にエクスポートして、ビジネス関係者、社内チームや顧客と 簡単に共有できます。
- 18. トレーニング詳細 ● 目的関数とそのノート ● トレーニングの観察結果 ● トレーニングジョブ詳細 ○ Job名 ○ ARN ○ Input ○ トレーニング環境 ● トレーニングの結果
- 19. その他情報 ● 追加の評価結果 ● 倫理的な考慮事項 ● 注意点・推奨事項 ● カスタムフィールド
- 20. PDF Export ● Model CardをPDF ExportしてS3に保存す ることが可能 ● S3に保存されたPDFをダウンロードする 必要があるため、少々使い勝手は悪い
- 21. Amazon SageMaker Model Dashboard
- 22. Amazon SageMaker Model Dashboard ● モデルの動作の追跡 ○ リソースとモデルの動作違反を1か所で追跡 ○ データ品質、モデル品質、Bias Drift、Feature Attribution Driftの 4つの次元で監視 ○ Amazon SageMaker Model MonitorとAmazon SageMaker Clarifyとの統合を通じて動作を監視 ● アラートの自動化 ○ モデル動作の逸脱などに対するアラートを設定 ● モデル偏差のトラブルシューティング ○ モデルのパフォーマンスに影響を与える要因を時系列で分析
- 23. サンプルダッシュボード ● モデルに関する情報が一つの画面に集約 ● 各種ステータスがひと目で分かるようになっている 出典: https://aws.amazon.com/jp/blogs/aws/new-ml-governance-tools-for-amazon-sagemaker-simplify-access-control-and-enhance-transparency-over-your-ml-projects/
- 24. デモ ● Amazon SageMaker Role Managerを使ったRoleの作成 ● Amazon Sage Maker Cardsの作成
Editor's Notes
- #3: こちらが私のプロフィールとなります。 機械学習には、大学時代の研究から携わっており、自分で立ち上げたスタートアップでも機械学習を使ったサービスを提供していました。 プロダクト開発チームやデータサイエンスチームの立ち上げなどもやっています。
- #5: ML Governanceがなぜ必要となってきたのかについて説明します。 機械学習プロジェクトは、データサイエンティストやMLエンジニア、インフラエンジニアなど様々な職種の人が関わってきます。 その際にデータの閲覧権限やデータパイプラインやエンドポイントの管理権限など、誰にどの権限を付与するかを考える必要があります。 それぞれの権限に合わせてIAMを作成したりと、権限の設定が複雑化してきています。 次に、学習済みのモデルがどのように生成されたかなどの情報を適切に管理しておく必要があります。 機械学習プロジェクトあるあるとして、どんな環境で、どのバージョンのスクリプト・いつのデータを使ったのかがわからなくなってしまい、モデルがどのように生成されたかわからなくなってしまうことがあります。 モデルの生成プロセスや、モデルで推論するための情報が文書化されていないと、適切な環境での予測が実施できなくなってしまいます。 最後に、モデル自体が適切に動いているかどうかを監視する必要性があります。 適切に管理されたモデルであっても、時間経過とともに性能が劣化することがあります。 性能の劣化は、モデルが期待通り動いているかどうかを監視し続けて、予期せぬ挙動となった場合に知らせてくれる必要があります。