エージェント監視用の OpenTelemetry

Copilot エージェントがどのように動作し、モデルやツールとやり取りするかを理解する。

この記事で

OpenTelemetry (OTel) は、オープンソース監視フレームワークです。 テレメトリ イベントとメトリックを収集し、互換性のある監視ツールにエクスポートする標準的な方法が提供されます。 詳細については、OTel Web サイトの 「OpenTelemetry とは」 を参照してください。

OTel 監視を有効にすると、ユーザーの Copilot クライアントから OTel 互換バックエンドにデータを送信できます。 これにより、エージェント セッションを分析し、企業全体のエージェントの使用状況を把握できます。

Copilotはどのようなデータを送信しますか?

Copilot は、次の 3 種類のデータを送信します。

  • トレース は、エージェント セッションのフローを示し、モデル呼び出しやツールの使用など、各ステップを接続します。 たとえば、トレースでは、 readFile ツールを使用してモデルを呼び出し、モデルをもう一度呼び出して応答を生成するエージェントを示すことができます。
  • メトリック は、時間の経過に伴うパターンの識別に役立つ数値測定値です。 たとえば、トークン使用状況メトリックは、モデル呼び出しで使用される入力トークンと出力トークンの数を追跡します。
  • イベントは 、特定の時点で個々のアクションを記録します。 たとえば、編集フィードバック イベントでは、ユーザーがエージェントの編集を承諾したか拒否したかが記録されます。

既定では、データには直接識別可能な属性、プロンプト、応答、ツール引数、ツールの結果、または未加工のポリシーの詳細は含まれません。 エンタープライズ管理者は、マネージド設定を使用して、次のキャプチャ クラスを個別に有効にすることができます。

  • ID エンティティ は、認証された Copilot アカウント名、ローカル オペレーティング システム アカウント、およびコンピューター名を追加します。 これにより、会話やツールのコンテンツを収集せずにアクティビティの帰属を行えます。
  • プロンプト には、ユーザー、システム、および開発者プロンプトの内容と、関連するモデル入力が含まれます。
  • 応答には、 アシスタントの応答とサポートされている推論コンテンツが含まれます。
  • ツール引数 には、生の引数、コマンド、ツール スキーマ、およびツール、MCP サーバー、プラグイン、フックの識別子が含まれます。
  • ツールの出力 には、ツールの結果と実行エラーの詳細が含まれます。
  • ポリシーの詳細 には、未加工のサンドボックス ファイル システム パスなどの制約のないポリシー情報が含まれます。 このクラスが無効になっている場合でも、有界ポリシーのポスチャと結果は引き続き使用できます。

詳細なキャプチャ コントロールは、エージェント ホストの使用時には、Copilot CLI、GitHub Copilot app、および VS Code セッションでサポートされます。 VS Codeのローカル エージェント ハーネスは、ID情報のキャプチャと従来のすべてまたは何もないコンテンツ キャプチャ設定をサポートしますが、5 つのコンテンツ キャプチャ クラスを個別に適用することはありません。

キャプチャされたコンテンツには、ソース コード、ファイルの内容、ユーザー プロンプト、コマンド、ツールの結果、ワークスペースまたはユーザー プロファイルパスなどの機密情報が含まれている場合があります。 ユース ケースに必要なクラスのみを有効にします。

OpenTelemetry の有効化

ユーザーの Copilot クライアントから OTel データを収集するには:

  1. 監視バックエンドを設定します。 OpenTelemetry Protocol (OTLP) をサポートするセキュリティで保護されたバックエンドを選択します。 一部のバックエンドでは、OTLP データを直接受信できます。 他のバックエンドの場合は、 OpenTelemetry コレクター をデプロイして、データを受信、処理、転送します。 例については、VS Codeドキュメントの「監視バックエンドでの使用」を参照してください。
  2. ユーザーのクライアントを構成します。 各クライアントで OTel を有効にするように構成値を設定し、エンドポイント、ヘッダー、および認証トークンを構成して、OTLP エンドポイントにデータを送信するように構成します。
  3. データを解釈します。 収集されたデータを使用してセッションを分析し、傾向を特定します。 実装例については、Microsoftドキュメントの「Grafana を使用して AI コーディング エージェントを監視する」を参照してください。

ユーザーのクライアントの構成

企業は、マネージド設定を使用して、サポートされているクライアント間で OTel 構成を適用できます。 明示的な管理値は、ローカル設定、SDK 構成、環境変数よりも優先されます。 telemetry プロパティには、OpenTelemetry を有効にしてルーティングし、ID 情報と機密性の高いコンテンツのキャプチャを個別に制御するためのキーが含まれています。

詳細については、「エンタープライズ管理設定を使い始める」および「エンタープライズ管理設定」を参照してください。

クライアント向けドキュメント

クライアント間での OpenTelemetry の使用方法の詳細については、次を参照してください。