鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
0 likes•149 views
鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
![機械学習シス
テム開発課題
機械学習
チーム
開発チーム
根拠を欠くリ
リース
利用者
機械学習モデルの性能問題
・リスクに関する誤解や見落
とし・不整合
非安全な利用体験
高リスクな機械学
習システム
高リスクな
機械学習モデル
機械学習モデルに対する要求 プロジェクト・システムの要求
追跡困難
プロジェクトやシステムレベル
における誤った評価
追跡困難で行
き当たりばった
りな改善戦略
、比較困難
• 機械学習チームとソフトウェア開発チームが異なるサイロ作業
• 機械学習を組み入れたシステムの安全性リスク、性能上の誤った判断の誘発
安全性: 特定交通標識の誤分類を抑制
機能・利便性: 高速可能な道路を認識
機械学習による交通標識認識
の正解率が [0.9, 1.0]
3
「30km制限」を「
80km制限」と誤分
類
自動運転車における速度制
限超過に伴う恐怖や事故リ
スク [*]
[*] Guardian, “Tesla recalls 362,000 vehicles over self-driving software flaws that risk crashes” 2023/2/16](https://image.slidesharecdn.com/eai-framework-20241204-241204125712-0597c9cc/85/6-AI-IoT-2024-3-320.jpg)
![フレームワーク比較
5
側面 実現フレームワーク
M3S
[Villamiz
ar+]
[Nalchigar
+21]
[ML-
Quadrat]
[Koseler+
19]
ビジネス要
求
価値 機械学習
目標
ビジネス
利用者 価値 UX ビジネス
アーキテク
チャ
アーキテクチャ インフラ
データ データ データ データ表現 テキスト クラス図
安全性 安全性
論証 論証
機械学習タ
スク・性能
機械学習タスク、
ゴール
図・モデル 分析 テキスト クラス図
包括的、統合を
通じ根拠を伴う適
切な文書化
マルチビュー・アプローチ モデルベース・アプローチ
機械学習モデル訓練・テ
ストとの統合を欠く 高いレベルの分析を欠く](https://image.slidesharecdn.com/eai-framework-20241204-241204125712-0597c9cc/85/6-AI-IoT-2024-5-320.jpg)
![機械学習システムのマルチビュー・モデリング [Software Quality J. ’24]
ML Canvas
AI Project Canvas Safety Case
Architectural Diagram (SysML) KAOS Goal Model
STAMP/STPA
Value
MLOps Architecture Goals
Safety
Argumentation
Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi-
view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
7](https://image.slidesharecdn.com/eai-framework-20241204-241204125712-0597c9cc/85/6-AI-IoT-2024-7-320.jpg)
![一貫性・追跡性保証の
ためのメタモデル [ICEBE’23]
ML Canvas
AI Project Canvas
Safety Case
KAOS Goal Model
STAMP/STPA
Architecture (SysML)
ML workflow
pipeline
8
Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic
Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper Award
Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning
Projects and its Management,” Future Generation Computer Systems, Elsevier, pp. 1-12, 2024.](https://image.slidesharecdn.com/eai-framework-20241204-241204125712-0597c9cc/85/6-AI-IoT-2024-8-320.jpg)
![メタモデルに基づく拡張
16
Hiroshi Tanaka, Ide Masaru, Kazuki Munakata, Hironori
Washizaki, and Nobukazu Yoshioka, “Activity-based modeling
strategy for reliable machine learning system analysis targeting
GUI-based applications,” 10th International Conference on
Dependable Systems and Their Applications (DSA 2023)
機械学習システムのメタモデル
軽量なアクティビ
ティベースの信頼
性・安全性リスク
解析の拡張
[DSA’23]
Business-ML alignment model ML canvas AI canvas
機械学習シス
テムのビジネ
ス整合確保の
ための拡張
[FGCS’24]
Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori
Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based
Metamodel for Machine Learning Projects and its Management,”
Future Generation Computer Systems, Vol. 32, 2024](https://image.slidesharecdn.com/eai-framework-20241204-241204125712-0597c9cc/85/6-AI-IoT-2024-16-320.jpg)
鷲崎弘宜, "機械学習システムの多面的モデリング・パイプライン統合フレームワーク", 第6回 AI/IoTシステム安全性シンポジウム, 2024
- 1. 機械学習システムの多面的モデリング・パイ プライン統合フレームワーク 鷲崎 弘宜 早稲田大学 / 国立情報学研究所 / エクスモーション http://www.washi.cs.waseda.ac.jp/ 謝辞: eAIフレームワークチームならびに関係者各位 JST未来社会創造事業JPMJMI20B8 機械学習を用いたシステムの高品質化・実用化を加速する"Engineerable AI"技術の開発 第6回 AI/IoTシステム安全性シンポジウム 2024年12月4日
- 2. フレームワーク（共通の仕組みをまとめた枠組み）による効率化・高品質化 2 開発 Dev 運用 Ops 開発チーム 利用者 機械学習 システム モニタリング・フィ ードバック 稼働・運用 システム レベル要求 リリース 機械学習 モデル 統合 機械学レベ ル関心事 機械学習 チーム 機械学習レベ ル要求 機械学習 ML 訓練・調整 開発チーム 利用者 ソフトウェアシ ステム モニタリング・フィ ードバック 稼働・運用 システム レベル要求 リリース 従来のフレームワーク 求められる一気通貫のフレームワーク 訓練パイプライン Accuracy = 0.8 Recall = 0.7 Precision = 0.7 Accuracy = 0.9 Recall = 0.6 Precision = 0.95 様々なバー ジョン データセット 設定 現実的目標か? リスクは許容 されうるか？ 不確実性を持つ 機械学習部分を どのように扱えるか？ どのバージョン を扱うべきか？ どのように安全性 リスクや性能を 検討・対話・改善 できるか？
- 3. 機械学習シス テム開発課題 機械学習 チーム 開発チーム 根拠を欠くリ リース 利用者 機械学習モデルの性能問題 ・リスクに関する誤解や見落 とし・不整合 非安全な利用体験 高リスクな機械学 習システム 高リスクな 機械学習モデル 機械学習モデルに対する要求 プロジェクト・システムの要求 追跡困難 プロジェクトやシステムレベル における誤った評価 追跡困難で行 き当たりばった りな改善戦略 、比較困難 • 機械学習チームとソフトウェア開発チームが異なるサイロ作業 • 機械学習を組み入れたシステムの安全性リスク、性能上の誤った判断の誘発 安全性: 特定交通標識の誤分類を抑制 機能・利便性: 高速可能な道路を認識 機械学習による交通標識認識 の正解率が [0.9, 1.0] 3 「30km制限」を「 80km制限」と誤分 類 自動運転車における速度制 限超過に伴う恐怖や事故リ スク [*] [*] Guardian, “Tesla recalls 362,000 vehicles over self-driving software flaws that risk crashes” 2023/2/16
- 4. 実現フレームワーク に基づく開発 機械学習 チーム 開発チーム 利用者 安全な利用 体験 機械学習モデル改善・容易な比較 根拠を伴い記録された 訓練・改善戦略 機械学習部分を組み入 れたリスク解析と対策 根拠・責任あるリ リース判断 一貫した情報、機械学習モデルから システム・上位目標までの整合 リスクを抑えられた機 械学習システム • 機械学習モデルからシステムまでの全体へとアクセス可 • チーム間のフィードバックループが可能になり、機械学習部分 を組み入れたシステムの安全性リスクへ根拠をもって対応 高リスクな標識「 80km制限」を優先 した機械学習モデ ル調整 4 「30km制限」の「80km制 限」誤分類リスク特定、低 減確認 「100km制限」を認識し機 能・利便確保 速度制限を 遵守し安全 かつ利便 均等な調 整の試み 対象を絞っ た調整 誤分類 要求・ゴール ゴール 論証上 の分解 対策 システムか ら部分まで 要求追跡
- 5. フレームワーク比較 5 側面 実現フレームワーク M3S [Villamiz ar+] [Nalchigar +21] [ML- Quadrat] [Koseler+ 19] ビジネス要 求 価値 機械学習 目標 ビジネス 利用者 価値 UX ビジネス アーキテク チャ アーキテクチャ インフラ データ データ データ データ表現 テキスト クラス図 安全性 安全性 論証 論証 機械学習タ スク・性能 機械学習タスク、 ゴール 図・モデル 分析 テキスト クラス図 包括的、統合を 通じ根拠を伴う適 切な文書化 マルチビュー・アプローチ モデルベース・アプローチ 機械学習モデル訓練・テ ストとの統合を欠く 高いレベルの分析を欠く
- 6. メタモデル メタモデルに基づく高信頼AIシステム 開発のフレームワーク 交通標識認識 深度推定・ セグメンテーション 訓練データ 問題追跡・ 可視化 セキュリティや 使いやすさを含 む要求分析 リスク評価 AI訓練・評価 リスク再評価 AI修正 リスク特定と 論証 解決追跡・ 可視化 品質改善の戦略＆論証 （例: AIモデル修正、セ ーフガード） 誤認識・ 誤動作 問題分析・リスク解析 AI訓練・評価・修正 AI・ソフトウェア・システム・シ ステム間連携 設計 解決・設計 要素 レイヤや対象を超えた対応関係・追跡・一貫性維持 4
- 7. 機械学習システムのマルチビュー・モデリング [Software Quality J. ’24] ML Canvas AI Project Canvas Safety Case Architectural Diagram (SysML) KAOS Goal Model STAMP/STPA Value MLOps Architecture Goals Safety Argumentation Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024. 7
- 8. 一貫性・追跡性保証の ためのメタモデル [ICEBE’23] ML Canvas AI Project Canvas Safety Case KAOS Goal Model STAMP/STPA Architecture (SysML) ML workflow pipeline 8 Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper Award Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning Projects and its Management,” Future Generation Computer Systems, Elsevier, pp. 1-12, 2024.
- 9. 道路標識認識の例 街中 高速道路 AIプロジェクトキャンバス MLキャンバス アーキテクチャ設計 データ スキル 出力 価値提案 統合 ステーク ホルダ 顧客 コスト 収益 街中と高速道路とで信頼性・安全性を考慮して 許容可能な認識精度の機械学に基づくシステム をどのように開発、改訂できるか？ Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
- 10. 10 機械学習モデルA モデルB モデルC 分類の性能評価 安全性・信頼性論証 誤分類データ 修正に向けた選択 バランスの取れた修正 修正結果 積極的な修正 さらなる改訂へ 1. データの改訂 2. 画像の質向上に 向けたアーキテク チャ改訂 3. ビジネスゴール の見直し 誤分類データ 安全性解析 要求・ゴール分析 5 Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
- 12. 分析設計モデリングの仕組み 1. 要求の構造化定義（例えば個 々のラベル別の最低予測性能） 3. 性能モニタリングによる不 満足要求の特定 2. 深層学習モデルの要求満足状況 の確認 5. 性能改善のための戦略追加（ 例えば深層学習モデル調整） 6. 調整後の深層学習モデル の性能の取り込み 7. 不満足要求の新規満足の確 認 4. 不満足の影響が伝搬する他 の分析設計モデル箇所の特定 8. 関連する他の分析設計モデ ル上の変化の確認 Jati Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Integrated Multi-view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, Vol. 32, Springer-Nature, 2024 プラグイン 12
- 13. フレームワーク適用実験を通じた有用性確認 13 Jati Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Integrated Multi-view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, Vol. 32, Springer-Nature, 2024 • Control Group: 6名（実務家4、学生2） • Experiment Group: 7名（実務家4、学生3） バランス の取れた DNN修正 積極的な DNN修正
- 14. New versions of artefacts Training feedback (Re-)Training artefacts Old versions of artefacts モデリングとMLパイプライン統合 Multi-view Modeling Tool Integration Plugins ML Model Performance Monitor Repair Tool Integration Other integration plugins… ML Pipelines ML Model Trainer Version Control Model-driven decisions (Re-)Training, Repair Configurations and Parameters Integrated Metamodel Multi-view traceability guide ML artefact - elements connection guidance Artefact version monitoring guidance Data Version Control DVC Pipeline 14 Jomphon Runpakprakun, Jati H. Husen, Hironori Washizaki, Nobukazu Yoshioka, Yoshiaki Fukazawa, “Towards Integrated Model-Based Machine Learning Experimentation Framework,” 10th International Conference on Dependable Systems and Their Applications (DSA 2023)
- 16. メタモデルに基づく拡張 16 Hiroshi Tanaka, Ide Masaru, Kazuki Munakata, Hironori Washizaki, and Nobukazu Yoshioka, “Activity-based modeling strategy for reliable machine learning system analysis targeting GUI-based applications,” 10th International Conference on Dependable Systems and Their Applications (DSA 2023) 機械学習システムのメタモデル 軽量なアクティビ ティベースの信頼 性・安全性リスク 解析の拡張 [DSA’23] Business-ML alignment model ML canvas AI canvas 機械学習シス テムのビジネ ス整合確保の ための拡張 [FGCS’24] Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning Projects and its Management,” Future Generation Computer Systems, Vol. 32, 2024
- 17. まとめと展望 • フレームワークの必要性 – 従来開発との違い • 高信頼AIシステム開発フレームワーク – メタモデルに基づく整合と追跡 – 多面的モデリング – MLワークフローパイプライン統合 • 展望 – メタモデル拡張に基づく適用展開 – （生成）AIに基づくモデリング・高信頼化支援 17