LLM Observability の権限整理の話/llmobs-permission

Transcript

1. © 2025 estie Inc. LLM Observability の 権限整理の話 株式会社estie 杉田毅博

   (GitHub:sugitak, X:@sugitak06)

2. © 2025 estie Inc. LLM Observability の Agent Observability の

   権限整理の話 株式会社estie 杉田毅博 (GitHub:sugitak, X:@sugitak06) LLM Observability は Agent Observability に Rename 中

3. © 2025 estie Inc. 最初におことわり： LLM Observability と Agent Observability

   こちらのトーク募集の頃は LLM Observability と呼ばれていたと思うの ですが、気づいたら名前が変わっていました • LLM Observability == Agent Observability • まだ `LLM Observability` `llm-observability` `llmobs` 等と なっている箇所が残っていますが、今後置き換えられていくと思われます • このプレゼン中では Agent Observability という用語に寄せます 2

4. © 2025 estie Inc. 杉田 毅博 github:sugitak, x:@sugitak06 • 2022~

   株式会社 estie 「1人目SRE」兼 EM • 2017~ 株式会社Preferred Networksコーポレートエンジニ ア。勝手にEmbedded SREも兼務 • 2015~ freee株式会社にてSREを名乗り始める。デプロイを 60分→7分に短縮・安定化。CSIRT立ち上げリーダー、セ キュリティ開発なども担当。自称デプロイ屋さんになる • 2011~ IIJ にて Ruby PaaS 開発。ユーザコードのデプロイ 部分を一人で担当。自称bundlerの専門家になる 講演等 2017-07 Schoo にて Prometheus 講師 2018-02 Software Design 誌にて9ページ記事執筆 2026-07 SRE Next 講演予定 New!

5. © 2025 estie Inc. Agent Observability とは？ 1 4 Agent

   Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4

6. © 2025 estie Inc. Agent Observability とは？ 1 5 Agent

   Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4

7. © 2025 estie Inc. Agent Observability とは…… AI Agent において数々の

   Observability を実現するもの 6 Traces Experiments Evaluations

8. © 2025 estie Inc. Agent Observability とは…… • Traces •

   Agent の推論・ツール実行・出力までの一連の流れを可視化 • Experiments o複数モデル・環境に同じ設定を投入する比較試験 • Evaluations o継続して実施できる単体テスト。現在の環境の評価 7

9. © 2025 estie Inc. 8 重要： Trace は入出力が表示される

10. © 2025 estie Inc. Agent Observability とは？ 1 9 Agent

    Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4

11. © 2025 estie Inc. Confidential © 2022 estie Inc. Our

    purpose 産業の真価を、さらに拓く。

12. © 2025 estie Inc. Confidential © 2022 estie Inc.

13. © 2025 estie Inc. Confidential © 2022 estie Inc.

14. © 2025 estie Inc. Confidential © 2022 estie Inc.

15. © 2025 estie Inc. Confidential © 2022 estie Inc.

16. © 2025 estie Inc. 権限整理のジレンマ • セキュリティの要件 o LLM の入出力は機微な情報であり、閲覧を制限される必要がある

    • 品質管理の要件 o LLM 利用機能の品質管理責任を持つ開発者は、その入出力を確認できる必要がある => お題： 10以上のプロダクト（を持つ我々は、 Datadog Agent Observability 上でどのように権限整理すればいいのか？ 15

17. © 2025 estie Inc. Agent Observability とは？ 1 16 Agent

    Observability の権限 整理 2 Datadog 権限分離の手法 3 今回の選択 4

18. © 2025 estie Inc. Datadog 権限分離の手法 • サービスごとに権限付与 • Organization

    分割 • Data Access Control 17

19. © 2025 estie Inc. サービスごとに権限付与（Role でコントロール） • 使わない人は LLM Observability

    （ここは旧名称）に権限を付与しなけ れば良い？ • 「使う」 or 「使わない」の二択しか 権限を作れない • Standard Role には default で付与 されている 18

20. © 2025 estie Inc. Organization 分割 • Organization を分割すると、概ねすべての権限を完全に分離できる •

    情報隔壁として最強 • ただし、情報の共有が難しくなる o 操作対象を変えるたびに Organization 切替操作が必要。横断が難しくなる o 一部、 Metrics / Logs では共有が可能 19

21. © 2025 estie Inc. Data Access Control (DAC) • ラベルベースで権限を付与する機能

    • DAC ではサービスxラベルで Dataset を作成し、その Dataset に対して Role ごとに Grant Access する RBAC 機能 • 権限ごとに Restricted Dataset を 作れば、ほしい制限が実現できる！ 20

22. © 2025 estie Inc. Agent Observability とは？ 1 21 Agent

    Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4

23. © 2025 estie Inc. 今回の選択 DAC を採用！ • DAC はまさに今回ほしいもの

    • ただし Restricted Dataset について Standard Plan で 10, Enterprise で 100 までという制限あり o Enterprise では、 Strict Mode を有効化した場合は 1000 Rule Sets まで利用可 22

24. © 2025 estie Inc. We are hiring! 23 https://hrmos.co/pages/estie/jobs?category=17562936478271 65184