Datenprodukte erstellen

Dieses Dokument richtet sich an Inhaber von Datenprodukten, die Datenprodukte in Dataplex Universal Catalog erstellen und konfigurieren möchten.

Weitere Informationen zur Architektur und zu den wichtigsten Konzepten von Datenprodukten finden Sie unter Datenprodukte.

Hinweise

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. Prüfen Sie, ob Ihre Daten-Assets (z. B. BigQuery-Datasets, ‑Tabellen und ‑Ansichten) erstellt und mit Daten gefüllt wurden.

    Weitere Informationen zum Erstellen von Daten-Assets finden Sie in den folgenden Dokumenten:

  3. Ermitteln oder erstellen Sie die Google-Gruppen, die Sie in Ihrem Datenprodukt konfigurieren möchten. Für jedes Datenprodukt muss eine eindeutige Google-Gruppe vorhanden sein.

Erforderliche Rollen

In diesem Abschnitt werden die erforderlichen Mindest-IAM-Rollen für zwei primäre Nutzergruppen beschrieben: Eigentümer von Datenprodukten (diejenigen, die Datenprodukte erstellen und verwalten) und Nutzer von Datenprodukten (diejenigen, die nach Datenprodukten suchen und sie verwenden).

Rollen für einen Data Product Owner

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Datenprodukten benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Datenprodukten erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Datenprodukte zu erstellen und zu verwalten:

  • Bearbeiten Sie den Systemaspekttyp overview: dataplex.entryGroups.useOverviewAspect
  • Bearbeiten Sie den Systemaspekttyp refresh cadence: dataplex.entryGroups.useRefreshCadenceAspect

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Rollen für einen Nutzer eines Datenprodukts

Damit Datenproduktnutzer nach Datenprodukten suchen, sie ansehen und Zugriff darauf anfordern können, müssen Sie als Datenprodukteigentümer dafür sorgen, dass das Datenprodukt auffindbar ist. Weisen Sie den Nutzern des Datenprodukts dazu die folgenden IAM-Rollen für das Datenprodukt zu:

  • Suchen Sie nach Datenprodukten und greifen Sie über die Dataplex Universal Catalog-Suche darauf zu: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)
  • Schreibgeschützter Zugriff zum Aufrufen von Datenproduktdefinitionen und ‑metadaten: Dataplex Data Product Viewer (dataplex.dataProductsViewer)
  • Zugriff auf Datenprodukte anfordern: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)

Datenprodukt erstellen und konfigurieren

Das Erstellen eines Datenprodukts umfasst die folgenden allgemeinen Aufgaben:

  1. Datenprodukt erstellen

    In diesem obligatorischen ersten Schritt müssen grundlegende Details wie ein eindeutiger Name des Datenprodukts, eine Beschreibung, die Region, in der das Datenprodukt erstellt wird, und Details zum Inhaber angegeben werden.

  2. Optional: Assets hinzufügen

    In dieser Phase wählen Sie Assets aus, die in das Datenprodukt aufgenommen werden sollen. Eine wichtige Einschränkung ist, dass sich Assets in derselben Region wie das Datenprodukt selbst befinden müssen. Sie können einem Datenprodukt maximal 10 Assets hinzufügen.

    Eine Liste der unterstützten Assets finden Sie unter Unterstützte Assets.

  3. Optional: Zugriffsgruppen und Asset-Berechtigungen konfigurieren

    In dieser optionalen Phase vereinfachen Sie die Zugriffssteuerung, indem Sie Zugriffsgruppen erstellen. Diese Zugriffsgruppen fungieren als nutzerfreundliche Aliase (z. B. Analyst oder Reader) für zugrunde liegende Google-Gruppen. Anschließend weisen Sie Berechtigungen zu, indem Sie eine bestimmte IAM-Rolle auswählen und sie einer Zugriffsgruppe für ein bestimmtes Asset zuordnen.

  4. Optional: Zusätzliche Details wie Verträge, Aspekte und Dokumentation hinzufügen

    Diese optionale Phase verbessert die Governance und Metadaten. Sie können einen Vertrag hinzufügen, der ein Aspekttyp mit selbst erhobenen Daten ist, um die vereinbarte Datenaktualisierungshäufigkeit formal zu kommunizieren. Dabei können Sie Parameter wie Aktualisierungshäufigkeit, Aktualisierungszeit und Grenzwert angeben. Sie können auch Aspekte einfügen, um zusätzliche Metadaten für Ihr Datenprodukt bereitzustellen. Außerdem fügen Sie Rich-Text-Dokumentation wie Nutzerhandbücher und Beispielabfragen hinzu.

Führen Sie die Schritte in den folgenden Abschnitten aus, um ein Datenprodukt zu erstellen und zu konfigurieren:

Datenprodukt erstellen

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprodukte auf.

    Zu den Datenprodukten

  2. Klicken Sie auf Erstellen.

  3. Geben Sie im Bereich Datenprodukte erstellen die folgenden Details ein:

    • Name des Datenprodukts: Geben Sie einen eindeutigen Namen für Ihr Datenprodukt ein.
    • Datenprodukt-ID: Dies ist eine automatisch generierte eindeutige Kennung. Dieses Feld kann bearbeitet werden.
    • Projekt-ID: Dies ist eine eindeutige Kennung des Projekts, in dem das Datenprodukt erstellt wird. Suchen Sie nach dem Projekt und wählen Sie es aus.
    • Region: Wählen Sie die Region oder multiregionale Region aus, in der das Datenprodukt erstellt wird.
    • Symbol: Suchen Sie nach einem Symbol und wählen Sie es aus, um das Datenprodukt visuell zu kennzeichnen. Dies ist optional.
    • Beschreibung: Geben Sie eine kurze Beschreibung des Datenprodukts ein.
    • Kontakte: Geben Sie die E‑Mail-ID des Datenproduktinhabers ein.
    • Labels: Fügen Sie Schlüssel/Wert-Labels hinzu, um Ihre Ressourcen zu organisieren. Dies ist optional.

  4. Klicken Sie auf Datenprodukt erstellen.

Optional: Assets hinzufügen

  1. Klicken Sie im Bereich Assets hinzufügen auf + Hinzufügen.

  2. Suchen Sie nach den Assets, die Sie Ihrem Datenprodukt hinzufügen möchten, und wählen Sie sie aus. Die von Ihnen ausgewählten Assets müssen sich in derselben Region wie das Datenprodukt befinden.

    Wenn Sie die erforderlichen Berechtigungen haben, können Sie die Metadaten von Assets aufrufen, indem Sie auf das Asset klicken.

  3. Mit Filtern können Sie die Suchergebnisse eingrenzen.

  4. Klicken Sie nach der Auswahl der Assets auf Hinzufügen.

  5. Klicken Sie auf Weiter.

Optional: Zugriffsgruppen und Asset-Berechtigungen konfigurieren

Im Bereich Zugriffsgruppen und Asset-Berechtigungen konfigurieren können Sie Zugriffsgruppen erstellen und Assets Berechtigungen zuweisen.

Zugriffsgruppen konfigurieren

So konfigurieren Sie Zugriffsgruppen:

  1. Klicken Sie auf Zugriffsgruppe hinzufügen.

  2. Geben Sie im Feld Name der Zugriffsgruppe einen Namen für die Zugriffsgruppe ein. Beispiel: Analyst.

  3. Geben Sie im Feld Beschreibung der Zugriffsgruppe eine Beschreibung für die Zugriffsgruppe ein.

  4. Geben Sie im Feld Kennung der Zugriffsgruppe die E‑Mail-Adresse einer Google-Gruppe ein, die Sie dieser Zugriffsgruppe zuweisen möchten. Datenproduktnutzer, die Zugriff auf diese Zugriffsgruppe anfordern, können der zugeordneten Google-Gruppe als Mitglieder hinzugefügt werden.

    Wenn Sie noch keine Google-Gruppe haben, können Sie eine erstellen. Weitere Informationen finden Sie unter Google Groups-Gruppen in der Google Cloud Console erstellen und verwalten.

  5. Klicken Sie auf Hinzufügen.

Asset-Berechtigungen konfigurieren

Nachdem Sie Zugriffsgruppen konfiguriert haben, können Sie Berechtigungen für die Assets im Datenprodukt konfigurieren:

  1. Wählen Sie im Bereich Asset permissions (Asset-Berechtigungen) das Asset aus, für das Sie Berechtigungen konfigurieren möchten.

  2. Klicken Sie auf Berechtigungen konfigurieren.

  3. Wählen Sie im Feld Zugriffsgruppe auswählen eine Zugriffsgruppe aus.

  4. Wählen Sie im Feld IAM-Rolle zuweisen eine IAM-Rolle aus, die Sie der Zugriffsgruppe zuweisen möchten.

    Wenn Ihr Asset beispielsweise eine BigQuery-Tabelle mit dem Namen Sales ist, Sie die Zugriffsgruppe Analyst ausgewählt und dieser Zugriffsgruppe die Rolle BigQuery Metadata Viewer zugewiesen haben, haben die Nutzer des Datenprodukts, die Teil der Zugriffsgruppe Analyst sind, die Berechtigung BigQuery Metadata Viewer für die Tabelle Sales.

    Sie können einem Asset mehrere Rollen zuweisen.

  5. Klicken Sie auf Konfigurieren. Für das Asset werden jetzt die zugewiesenen Berechtigungen angezeigt.

  6. Wenn Sie Berechtigungen für andere Assets konfigurieren möchten, wiederholen Sie die Schritte.

  7. Klicken Sie auf Weiter.

Optional: Zusätzliche Details hinzufügen

Im Bereich Zusätzliche Details hinzufügen können Sie Verträge, Aspekte und zusätzliche Dokumentation für das Datenprodukt hinzufügen.

Vertrag hinzufügen

So fügen Sie einen Vertrag hinzu:

  1. Klicken Sie auf Vertrag hinzufügen.

  2. Wählen Sie im Feld Vertrag auswählen die Option Refresh cadence aus.

  3. Wählen Sie im Feld Häufigkeit einen vereinbarten Zeitplan dafür aus, wie oft Daten aktualisiert oder bereitgestellt werden. So wird ein vorhersehbarer Fluss vom Datenproduzenten zum Datenverbraucher sichergestellt. Beispiel: Weekly.

  4. Geben Sie im Feld Aktualisierungszeit die maximal zulässige Zeit ein, die vergehen darf, bis Daten an der Quelle aktualisiert werden und für den Nutzer verfügbar sind. Beispiel: 23:00 PST.

  5. Geben Sie im Feld Schwellenwert (in Minuten) ein messbares Limit in Minuten für die akzeptable Verzögerung bei der Datenübermittlung ein. Wenn Sie beispielsweise den Schwellenwert auf 30 Minuten festlegen möchten, geben Sie 30 ein.

  6. Optional: Geben Sie im Feld Cron-Zeitplan einen Cron-Ausdruck ein, der den Zeitplan für die Datengenerierung und ‑bereitstellung im Format MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK definiert.

    Folgende Werte sind zulässig:

    • MINUTE: 0–59
    • HOUR: 0–23
    • DAY_OF_MONTH: 1–31
    • MONTH: 1-31 oder JAN-DEC
    • DAY_OF_WEEK: 0-6 oder SUN-SAT

    Beispiel: 0 8 * * 1-5 wird an Wochentagen (Montag bis Freitag) um 8:00 Uhr ausgeführt.

  7. Klicken Sie auf Speichern.

Zusätzliche Metadaten hinzufügen

So fügen Sie zusätzliche Metadaten für das Datenprodukt als Aspekte hinzu:

  1. Klicken Sie auf + Aspekt hinzufügen.

  2. Suchen Sie im Feld Aspekttyp auswählen nach einem Aspekttyp und wählen Sie ihn aus der Liste aus. Beispiel: Geo context.

  3. Wählen Sie im Feld Land das Land aus, zu dem das Asset gehört.

  4. Wählen Sie im Feld Region die Geschäftsregion aus, zu der das Asset gehört.

  5. Klicken Sie auf Speichern.

    Wenn Sie zusätzliche Dokumentation wie ein Nutzerhandbuch oder Beispielabfragen hinzufügen möchten, klicken Sie neben Dokumentation auf Bearbeiten. Dadurch wird ein Rich-Text-Editor geöffnet. Fügen Sie Inhalte hinzu und klicken Sie auf Speichern.

  6. Klicken Sie auf Speichern.

    Das neu erstellte Datenprodukt wird auf der Seite Datenprodukte von Dataplex Universal Catalog angezeigt.

Nächste Schritte