Dataproc Metastore-Netzwerk – Übersicht

Dieses Dokument bietet einen Überblick über die Netzwerkeinstellungen, die Sie zum Einrichten eines Dataproc Metastore-Dienstes verwenden können.

Kurzreferenz zu Netzwerkthemen

Standardmäßige Netzwerkeinstellungen

Im folgenden Abschnitt werden die Standardnetzwerkeinstellungen beschrieben, die von Dataproc Metastore verwendet werden: VPC-Netzwerke und VPC-Netzwerk-Peering.

VPC-Netzwerke

Standardmäßig verwenden Dataproc Metastore-Dienste VPC-Netzwerke, um eine Verbindung zu Google Cloudherzustellen. Ein VPC-Netzwerk ist eine virtuelle Version eines physischen Netzwerks, das innerhalb des Produktionsnetzwerks von Google implementiert wurde. Wenn Sie einen Dataproc Metastore erstellen, wird das VPC-Netzwerk automatisch vom Dienst erstellt.

Wenn Sie beim Erstellen des Dienstes keine Einstellungen ändern, verwendet Dataproc Metastore das VPC-Netzwerk default. Mit dieser Einstellung kann das VPC-Netzwerk, das Sie mit Ihrem Dataproc Metastore-Dienst verwenden, zum selben Google Cloud Projekt oder zu einem anderen Projekt gehören. Mit dieser Einstellung können Sie Ihren Dienst auch in einem einzelnen VPC-Netzwerk bereitstellen oder über mehrere VPC-Netzwerke zugänglich machen (durch die Verwendung von Subnetzen).

Für Dataproc Metastore ist Folgendes pro Region für jedes VPC-Netzwerk erforderlich:

• 1 Peering-Kontingent
• Die CIDR-Blöcke /17 und /20

VPC-Netzwerk-Peering

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore auch automatisch VPC-Netzwerk-Peering für Ihren Dienst. VPC bietet Ihrem Dienst Zugriff auf die Endpunktprotokolle von Dataproc Metastore. Nachdem Sie Ihren Dienst erstellt haben, können Sie sich das zugrunde liegende VPC-Netzwerk-Peering auf der Seite VPC-Netzwerk-Peering in der Google Cloud-Konsole ansehen.

Das VPC-Netzwerk-Peering ist nicht transitiv. Das bedeutet, dass nur direkt verbundene Peering-Netzwerke miteinander kommunizieren können. Betrachten Sie beispielsweise das folgende Szenario:

Sie haben die folgenden Netzwerke: VPC-Netzwerk N1, N2 und N3.

• VPC-Netzwerk N1 ist mit N2 und N3 verbunden.
• VPC-Netzwerk N2 und N3 sind nicht direkt miteinander verbunden.

Was bedeutet das?

Das bedeutet, dass das VPC-Netzwerk N2 nicht über VPC-Netzwerk-Peering mit dem VPC-Netzwerk N3 kommunizieren kann. Dies wirkt sich auf Dataproc Metastore-Verbindungen folgendermaßen aus:

• Auf VMs in Netzwerken, die per Peering mit Ihrem Dataproc Metastore-Projektnetzwerk verbunden sind, kann nicht auf Dataproc Metastore zugegriffen werden.
• Nur Hosts im VPC-Netzwerk können einen Dataproc Metastore-Dienst erreichen.

Sicherheitsaspekte beim VPC-Netzwerk-Peering

• Traffic, der über das VPC-Netzwerk-Peering geleitet wird, wird mit einem bestimmten Grad an Verschlüsselung bereitgestellt. Weitere Informationen finden Sie unter Virtuelle Netzwerkverschlüsselung und -authentifizierung in Google Cloud.

• Für jeden Dienst ein VPC-Netzwerk mit einer internen IP-Adresse zu erstellen, gewährleistet eine bessere Netzwerkisolation, als alle Dienste im VPC-Netzwerk default zu erstellen.

VPC-Subnetzwerke

Mit Private Service Connect (PSC) können Sie eine private Verbindung zu Dataproc Metastore-Metadaten über VPC-Netzwerke hinweg einrichten. Mit PSC können Sie einen Dienst ohne VPC-Peering erstellen. So können Sie Ihre eigenen internen IP-Adressen für den Zugriff auf Dataproc Metastore verwenden, ohne Ihre VPC-Netzwerke zu verlassen oder externe IP-Adressen zu verwenden.

Informationen zum Einrichten von Private Service Connect beim Erstellen eines Dienstes finden Sie unter Private Service Connect mit Dataproc Metastore.

IP-Adressen

Um eine Verbindung zu einem Netzwerk herzustellen und Ihre Metadaten zu schützen, verwenden Dataproc Metastore-Dienste nur interne IP-Adressen. Das bedeutet, dass öffentliche IP-Adressen nicht verfügbar sind oder nur für Netzwerkzwecke verwendet werden.

Wenn Sie eine interne IP-Adresse verwenden, kann Dataproc Metastore nur eine Verbindung zu VMs herstellen, die in angegebenen VPC-Netzwerken (Virtual Private Cloud) oder einer lokalen Umgebung vorhanden sind.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine interne IP-Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Wenn Sie diese Bereiche verwenden, weist Dataproc Metastore jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich Folgendes enthalten:

• Mindestens zwei nicht verwendete Adressblöcke der Größe /17.
• Mindestens zwei nicht verwendete Adressblöcke der Größe /20.

Wenn keine RFC 1918-Adressblöcke gefunden werden, findet der Dataproc Metastore stattdessen geeignete Nicht-RFC 1918-Adressblöcke. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Zusätzliche Netzwerkeinstellungen

Wenn Sie andere Netzwerkeinstellungen benötigen, können Sie die folgenden Optionen für Ihren Dataproc Metastore-Dienst verwenden.

Freigegebenes VPC-Netzwerk

Sie können Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen. Mit einer freigegebene VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten mit einem gemeinsamen VPC-Netzwerk verbinden.

Informationen zum Einrichten einer freigegebene VPC beim Erstellen eines Dienstes finden Sie unter Dataproc Metastore-Dienst erstellen.

Lokale Netzwerke

Sie können eine Verbindung zu einem Dataproc Metastore-Dienst mit einer lokalen Umgebung über Cloud VPN oder Cloud Interconnect herstellen.

VPC Service Controls

Mit VPC Service Controls können Sie das Risiko einer Daten-Exfiltration verringern. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. Durch VPC Service Controls wird der Zugriff auf Ressourcen im Perimeter von außerhalb eingeschränkt. Nur Clients und Ressourcen im Perimeter können miteinander interagieren.

Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore. Lesen Sie auch die Einschränkungen für Dataproc Metastore bei der Verwendung von VPC Service Controls.

Firewallregeln für Dataproc Metastore

In Umgebungen ohne Standardkonfiguration oder in privaten Umgebungen, für die bereits Sicherheitseinstellungen festgelegt wurden, müssen Sie unter Umständen eigene Firewallregeln erstellen. Wenn Sie das tun, erstellen Sie keine Firewallregel, die den IP-Adressbereich oder Port Ihrer Dataproc Metastore-Dienste blockiert.

Wenn Sie einen Dataproc Metastore-Dienst erstellen, können Sie das Standardnetzwerk für den Dienst übernehmen. Das Standardnetzwerk bietet vollen internen IP-Netzwerkzugriff für Ihre VMs.

Allgemeinere Informationen zu Firewallregeln finden Sie unter VPC-Firewallregeln und VPC-Firewallregeln verwenden.

Firewallregel für ein benutzerdefiniertes Netzwerk erstellen

Wenn Sie ein benutzerdefiniertes Netzwerk verwenden, muss Ihre Firewallregel Traffic zum und vom Dataproc Metastore-Endpunkt zulassen. Führen Sie die folgenden gcloud-Befehle aus, um Dataproc Metastore-Traffic explizit zuzulassen:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Wenden Sie für DPMS_NET_PREFIX eine /17-Subnetzmaske auf die IP-Adresse Ihres Dataproc Metastore-Dienstes an. Die IP-Adressinformationen zu Dataproc Metastore finden Sie in der endpointUri-Konfiguration auf der Seite Dienstdetails.

Hinweise

Netzwerke haben eine implizierte Regel zum Zulassen von ausgehendem Traffic, die normalerweise den Zugriff von Ihrem Netzwerk auf Dataproc Metastore zulässt. Wenn Sie Regeln zum Ablehnen von ausgehendem Traffic erstellen, die die implizite Regel zum Zulassen von ausgehendem Traffic überschreiben, sollten Sie eine Regel zum Zulassen von ausgehendem Traffic mit höherer Priorität erstellen, um ausgehenden Traffic zur Dataproc Metastore-IP-Adresse zuzulassen.

Einige Features wie Kerberos erfordern, dass Dataproc Metastore Verbindungen zu Hosts in Ihrem Projektnetzwerk initiiert. Alle Netzwerke haben eine implizierte Regel zum Ablehnen von eingehendem Traffic, die diese Verbindungen blockiert und verhindert, dass diese Funktionen funktionieren. Sie sollten eine Firewallregel erstellen, die eingehenden TCP- und UDP-Traffic an allen Ports aus dem IP-Block /17 zulässt, der die IP-Adresse des Dataproc Metastore enthält.

Benutzerdefiniertes Routing

Benutzerdefinierte Routen sind für Subnetze, die privat verwendete öffentliche IP-Adressen (PUPI) verwenden. Mit benutzerdefinierten Routen kann Ihr VPC-Netzwerk eine Verbindung zu einem Peer-Netzwerk herstellen. Benutzerdefinierte Routen können nur empfangen werden, wenn Ihr VPC-Netzwerk sie importiert und das Peering-Netzwerk sie explizit exportiert. Benutzerdefinierte Routen können statisch oder dynamisch sein.

Durch das Freigeben benutzerdefinierter Routen für Peering-VPC-Netzwerke können Netzwerke Routen direkt von ihren Peering-Netzwerken „lernen“. Wenn also eine benutzerdefinierte Route in einem Peering-Netzwerk aktualisiert wird, lernt Ihr VPC-Netzwerk die aktualisierte benutzerdefinierte Route automatisch und nutzt sie, ohne dass Sie eingreifen müssen.

Weitere Informationen zum benutzerdefinierten Routing finden Sie unter Netzwerkkonfiguration.

Dataproc Metastore-Netzwerkbeispiel

Im folgenden Beispiel weist Google die Adressbereiche 10.100.0.0/17 und 10.200.0.0/20 im VPC-Netzwerk des Kunden den Google-Diensten zu und verwendet die Adressbereiche in einem Peering-VPC-Netzwerk.

Beschreibung des Netzwerkbeispiels:

• Auf der Google-Dienst-Seite des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert, was bedeutet, dass es mit keinen anderen Kunden geteilt wird und dem Kunden nur die Ressourcen in Rechnung gestellt werden, die von ihm bereitgestellt werden.
• Wenn Sie den ersten Dataproc Metastore-Dienst in einer Region erstellen, weist Dataproc Metastore einen /17-Bereich und einen /20-Bereich im Netzwerk des Kunden für die zukünftige Verwendung von Dataproc Metastore-Diensten in dieser Region und diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
• VM-Dienste im Kundennetzwerk können auf Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn derGoogle Cloud -Dienst dies unterstützt. Einige Google Cloud Dienste unterstützen möglicherweise keine regionenübergreifende Kommunikation.
• Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
• Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Das Dienstnetzwerk enthält Routen, über die die Anfrage anschließend an die richtige Ressource weitergeleitet wird.
• Der Traffic zwischen VPC-Netzwerken verläuft intern im Google-Netzwerk, nicht über das öffentliche Internet.

Nächste Schritte

• VPC Service Controls mit Dataproc Metastore
• Dataproc Metastore-IAM und -Zugriffssteuerung
• Private Service Connect mit Dataproc Metastore