OpenTelemetry für die Agentüberwachung

Verstehen, wie Copilot Agenten arbeiten und mit Modellen und Tools interagieren.

In diesem Artikel

OpenTelemetry (OTel) ist ein Open Source Observability Framework. Es bietet eine Standardmethode zum Sammeln von Telemetrieereignissen und Metriken und zum Exportieren dieser Ereignisse in kompatible Observability-Tools. Weitere Informationen finden Sie unter Was ist OpenTelemetry? auf der OTel-Website.

Wenn Sie die OTel-Überwachung aktivieren, können Sie Daten von den Clients der Benutzer Copilot an ein OTel-kompatibles Back-End senden. Auf diese Weise können Sie Agentsitzungen analysieren und die Agentnutzung im gesamten Unternehmen verstehen.

Welche Daten sendet Copilot?

Copilot sendet drei Datentypen:

  • Traces zeigen den Verlauf einer Agentensitzung und verknüpfen alle Schritte, einschließlich Modellaufrufen und der Tool-Nutzung. Beispielsweise kann eine Ablaufverfolgung zeigen, wie ein Agent ein Modell aufruft, das Tool readFile verwendet und dann das Modell erneut aufruft, um eine Antwort zu generieren.
  • Metriken sind numerische Messungen, mit denen Sie Muster im Laufe der Zeit identifizieren können. Tokenverwendungsmetriken verfolgen beispielsweise die Anzahl der Eingabe- und Ausgabetoken, die in Modellaufrufen verwendet werden.
  • Ereignisse zeichnen einzelne Aktionen zu einem bestimmten Zeitpunkt auf. Beispielsweise zeichnet ein Bearbeitungsfeedbackereignis auf, ob ein Benutzer eine Agent-Bearbeitung akzeptiert oder abgelehnt hat.

Standardmäßig enthalten die Daten keine direkt identifizierenden Attribute, Eingabeaufforderungen, Antworten, Toolargumente, Toolergebnisse oder unformatierte Richtliniendetails. Unternehmensadministratoren können die folgenden Erfassungsklassen unabhängig über verwaltete Einstellungen aktivieren:

  • Identity fügt den Namen des authentifizierten Copilot Kontos, das lokale Betriebssystemkonto und den Computernamen hinzu. Auf diese Weise können Sie Aktivitäten zuordnen, ohne Unterhaltungen oder Toolinhalte zu sammeln.
  • Prompts umfassen Benutzer-, System- und Entwicklereingabeaufforderungsinhalte und zugehörige Modelleingaben.
  • Die Antworten umfassen die Antwort des Assistenten und unterstützte Inhalte zur Begründung.
  • Toolargumente umfassen unformatierte Argumente, Befehle, Toolschemas und Bezeichner für Tools, MCP-Server, Plug-Ins und Hooks.
  • Die Toolausgabe enthält Toolergebnisse und Details zu Ausführungsfehlern.
  • Richtliniendetails umfassen unbeschränkte Richtlinieninformationen wie unformatierte Sandkastendateisystempfade. Die eingeschränkte Richtlinienhaltung und die Ergebnisse bleiben verfügbar, wenn diese Klasse deaktiviert ist.

Feinkörnige Erfassungssteuerelemente werden in Copilot CLI, den GitHub Copilot app, und VS Code Sitzungen mit Agent-Host unterstützt. VS Codes lokales Agent-Harness unterstützt die Identitätserfassung und die Legacy-Einstellung für die vollständige oder keine Inhaltserfassung, wendet jedoch nicht unabhängig die fünf Inhaltserfassungsklassen an.

Erfasste Inhalte können vertrauliche Informationen enthalten, einschließlich Quellcode, Dateiinhalte, Benutzeraufforderungen, Befehle, Toolergebnisse und Arbeitsbereichs- oder Benutzerprofilpfade. Aktivieren Sie nur die klassen, die für Ihren Anwendungsfall erforderlich sind.

Aktivieren von OpenTelemetry

So sammeln Sie OTel-Daten aus den Clients der Copilot Benutzer:

  1. Richten Sie ein Observability-Backend ein. Wählen Sie ein sicheres Back-End aus, das das OpenTelemetry-Protokoll (OTLP) unterstützt. Einige Back-Ends können OTLP-Daten direkt empfangen. Stellen Sie für andere Back-Ends einen OpenTelemetry Collector bereit, um die Daten zu empfangen, zu verarbeiten und weiterzuleiten. Beispiele finden Sie unter VS Code in der -Dokumentation.
  2. Konfigurieren sie die Clients der Benutzer. Legen Sie Konfigurationswerte fest, um OTel in jedem Client zu aktivieren und sie so zu konfigurieren, dass Daten an Ihren OTLP-Endpunkt gesendet werden, indem Sie den Endpunkt, die Header und das Authentifizierungstoken konfigurieren.
  3. Interpretieren von Daten. Verwenden Sie die gesammelten Daten, um Sitzungen zu analysieren und Trends zu identifizieren. Eine Beispielimplementierung finden Sie unter Überwachen von KI-Codierungs-Agents mit Grafana in der Microsoft Dokumentation.

Konfigurieren der Benutzerclients

Unternehmen können die OTel-Konfiguration über unterstützte Clients mit verwalteten Einstellungen erzwingen. Explizite verwaltete Werte haben Vorrang vor lokalen Einstellungen, SDK-Konfiguration und Umgebungsvariablen. Die telemetry Eigenschaft enthält Schlüssel zum Aktivieren und Weiterleiten von OpenTelemetry sowie zur unabhängigen Steuerung der Identitäts- und vertraulichen Inhaltserfassung.

Weitere Informationen findest du unter Erste Schritte mit unternehmensverwalteten Einstellungen und Unternehmensverwaltete Einstellungen.

Clientdokumentation

Weitere Informationen dazu, wie OpenTelemetry über verschiedene Clients hinweg verwendet wird, finden Sie unter: