Logs mit Log Analytics abfragen und analysieren

In diesem Dokument wird beschrieben, wie Sie die in Log-Buckets gespeicherten Logdaten abfragen und analysieren, für die ein Upgrade zur Verwendung von Loganalysen durchgeführt wurde. Sie können Logs in diesen Buckets mit SQL abfragen und so filtern und aggregieren. Sie können sich die Abfrageergebnisse in Tabellenform ansehen oder die Daten in Diagrammen visualisieren. Diese Tabellen und Diagramme können in Ihren benutzerdefinierten Dashboards gespeichert werden.

Sie können entweder eine Logansicht für ein Log-Bucket oder eine Analytics-Ansicht abfragen. Wenn Sie eine Logansicht abfragen, entspricht das Schema dem der Datenstruktur LogEntry. Da der Ersteller einer Analytics-Datenansicht das Schema festlegt, können Sie mit Analytics-Datenansichten Protokolldaten aus dem LogEntry-Format in ein für Sie besser geeignetes Format umwandeln.

Mit dem Log-Explorer können Sie Logeinträge aufrufen, die in Log-Buckets in Ihrem Projekt gespeichert sind, unabhängig davon, ob für den Log-Bucket ein Upgrade für die Verwendung von Log Analytics durchgeführt wurde.

In Log Analytics werden Logeinträge nicht dedupliziert. Das kann sich auf die Art und Weise auswirken, wie Sie Ihre Abfragen schreiben. Außerdem gibt es einige Einschränkungen bei der Verwendung von Log Analytics. Weitere Informationen zu diesen Themen finden Sie in den folgenden Dokumenten:

Verknüpfte Datasets

In Log Analytics können verknüpfte BigQuery-Datasets erstellt werden, über die BigQuery Lesezugriff auf die zugrunde liegenden Daten erhält. Wenn Sie ein verknüpftes Dataset erstellen, haben Sie folgende Möglichkeiten:

In diesem Dokument wird nicht beschrieben, wie Sie ein verknüpftes Dataset erstellen oder Log Analytics so konfigurieren, dass Abfragen für reservierte Slots ausgeführt werden. Wenn Sie sich für diese Themen interessieren, lesen Sie den Hilfeartikel Verknüpftes Dataset in BigQuery abfragen.

Hinweise

In diesem Abschnitt werden die Schritte beschrieben, die Sie ausführen müssen, bevor Sie Log Analytics verwenden können.

Log-Buckets konfigurieren

Prüfen Sie, ob Ihre Log-Buckets für die Verwendung von Log Analytics aktualisiert wurden:

  1. Rufen Sie in der Google Cloud Console die Seite Logspeicher auf:

    Zum Log-Speicher

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Prüfen Sie für jeden Log-Bucket, der eine Logansicht enthält, die Sie abfragen möchten, ob in der Spalte Log Analytics verfügbar die Option Öffnen angezeigt wird. Wenn Upgrade durchführen angezeigt wird, klicken Sie darauf und schließen Sie das Dialogfeld ab.

IAM-Rollen und ‑Berechtigungen konfigurieren

In diesem Abschnitt werden die IAM-Rollen oder Berechtigungen beschrieben, die für die Verwendung von Log Analytics erforderlich sind:

  • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Log Analytics und zum Abfragen von Log-Ansichten benötigen:

    Sie können ein Hauptkonto auf eine bestimmte Logansicht beschränken, indem Sie entweder eine IAM-Bedingung für die auf Projektebene erteilte Rolle „Logs View Accessor“ hinzufügen oder eine IAM-Bindung zur Richtliniendatei der Logansicht hinzufügen. Weitere Informationen finden Sie unter Zugriff auf eine Logansicht steuern.

    Dies sind dieselben Berechtigungen, die Sie benötigen, um Logeinträge auf der Seite Log-Explorer aufzurufen. Informationen zu zusätzlichen Rollen, die Sie zum Abfragen von Ansichten in benutzerdefinierten Buckets oder zum Abfragen der _AllLogs-Ansicht des _Default-Logbuckets benötigen, finden Sie unter Cloud Logging-Rollen.

  • Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Observability Analytics User (roles/observability.analyticsUser) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Abfragen von Analyseansichten benötigen.

Logansicht oder Analyseansicht abfragen

Bei der Fehlerbehebung kann es hilfreich sein, die Logeinträge mit einem Feld zu zählen, das einem Muster entspricht, oder die durchschnittliche Latenz für HTTP-Anfragen zu berechnen. Sie können diese Aktionen ausführen, indem Sie eine SQL-Abfrage für eine Logansicht ausführen.

So führen Sie eine SQL-Abfrage für eine Log-Ansicht aus:

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. So laden Sie die Standardabfrage:

    1. Rufen Sie im Menü Ansichten den Abschnitt Logs oder Analytics-Ansichten auf und wählen Sie die Ansicht aus, die Sie abfragen möchten.

      Um eine Ansicht zu finden, können Sie die -Leiste Filter verwenden oder durch die Liste scrollen:

      • Logansichten werden nach BUCKET_ID.LOG_VIEW_ID aufgelistet. Diese Felder beziehen sich auf die IDs des Log-Buckets und der Logansicht.

      • Analytics-Datenansichten werden nach LOCATION.ANALYTICS_VIEW_ID aufgelistet. Diese Felder beziehen sich auf den Speicherort und die ID einer Analytics-Datenansicht. Analytics-Ansichten sind im Rahmen des Programms „Öffentliche Vorschau“ verfügbar.

    2. Klicken Sie in der Symbolleiste Schema auf Abfrage.

      Der Bereich Abfrage wird mit einer SQL-Abfrage aktualisiert, die die ausgewählte Analytics-Ansicht abfragt.

  3. Wenn Sie eine Frage eingeben möchten, gehen Sie so vor:

    • Wenn Sie einen Zeitraum angeben möchten, empfehlen wir die Verwendung der Zeitbereichsauswahl. Wenn Sie eine WHERE-Klausel hinzufügen können, mit der das Feld timestamp angegeben wird, wird der Wert dadurch die Einstellung in der Zeitbereichsauswahl überschrieben und die Auswahl wird deaktiviert.

    • Beispiele finden Sie unter Beispielabfragen.

    • Wenn Sie eine Logansicht abfragen möchten, sollte die FROM-Klausel für Ihre Abfrage das folgende Format haben:

      FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

    • Wenn Sie eine Analytics-Ansicht abfragen möchten, sollte die FROM-Klausel Ihrer Abfrage das folgende Format haben:

      FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

    Im Folgenden wird die Bedeutung der Felder in den vorherigen Ausdrücken beschrieben:

    • PROJECT_ID: Die Kennung des Projekts.
    • LOCATION: Der Speicherort der Logansicht oder der Analyseansicht.
    • BUCKET_ID: Der Name oder die ID des Log-Buckets.
    • LOG_VIEW_ID: Die Kennung der Logansicht. Sie ist auf 100 Zeichen begrenzt und darf nur Buchstaben, Ziffern, Unterstriche und Bindestriche enthalten.
    • ANALYTICS_VIEW_ID: Die ID der Analyseansicht, die auf 100 Zeichen begrenzt ist und nur Buchstaben, Ziffern, Unterstriche und Bindestriche enthalten darf.
    .

  4. In der Symbolleiste muss eine Schaltfläche mit der Bezeichnung Abfrage ausführen angezeigt werden.

    Wenn in der Symbolleiste In BigQuery ausführen angezeigt wird, klicken Sie auf  Einstellungen und wählen Sie Log Analytics (Standard) aus.

  5. Führen Sie die Abfrage aus.

    Die Abfrage wird ausgeführt und das Ergebnis wird auf dem Tab Ergebnisse angezeigt.

    Mit den Symbolleistenoptionen können Sie Ihre Abfrage formatieren, sie löschen und die BigQuery-SQL-Referenzdokumentation öffnen.

  6. Sehen Sie sich die Abfrageergebnisse an. Sie können die Ergebnisse als Tabelle oder als Diagramm ansehen. Diagramme können in einem benutzerdefinierten Dashboard gespeichert werden. Weitere Informationen finden Sie unter SQL-SQL-Abfrage darstellen.

Schema anzeigen

Das Schema definiert die Struktur und den Datentyp für jedes Feld. Diese Informationen sind wichtig, weil sie bestimmen, wie Sie Ihre Abfragen erstellen. Angenommen, Sie möchten die durchschnittliche Latenz von HTTP-Anfragen berechnen. Sie müssen wissen, wie Sie auf das Feld „Latenz“ zugreifen und ob es als Ganzzahl wie 100 oder als String wie "100" gespeichert ist. Wenn die Latenzdaten als String gespeichert sind, muss der Wert in der Abfrage in einen numerischen Wert umgewandelt werden, bevor ein Durchschnitt berechnet werden kann.

Log Analytics leitet die Felder einer Spalte automatisch ab, wenn der Datentyp JSON ist. Wenn Sie sehen möchten, wie oft diese abgeleiteten Felder in Ihren Daten vorkommen, klicken Sie auf  Optionen und wählen Sie Informationen und Beschreibung ansehen aus.

So ermitteln Sie das Schema:

  1. Rufen Sie in der Google Cloud Console die Seite Log Analytics auf:

    Zu Log Analytics

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Suchen Sie im Bereich Ansichten nach der Log- oder Analyseansicht und wählen Sie sie aus.

    Das Schema wird angezeigt. Bei Log-Ansichten ist das Schema fest und entspricht der Datenstruktur LogEntry. Bei Analyseansichten können Sie die SQL-Abfrage ändern, um das Schema zu ändern.

Nächste Schritte