Connecter un dépôt Git tiers

Ce document vous explique comment associer un dépôt distant à un dépôt Dataform. Une fois l'association établie, les modifications apportées dans un espace de travail de développement Dataform peuvent être extraites du dépôt Git distant ou transférées vers celui-ci.

Vous pouvez connecter un dépôt distant via HTTPS ou SSH.

Le tableau suivant répertorie les fournisseurs Git compatibles et les méthodes de connexion disponibles pour leurs dépôts :

Fournisseur Git Mode de connexion
Services Azure DevOps SSH
Bitbucket SSH
GitHub SSH ou HTTPS
GitLab SSH ou HTTPS

Avant de commencer

  1. Si votre organisation ou votre projet restreint les dépôts Git distants avec la règle d'organisation dataform.restrictGitRemotes, assurez-vous que le dépôt Git distant est ajouté à la liste d'autorisation de la règle avant de créer un dépôt Dataform que vous souhaitez connecter à un dépôt distant. Pour en savoir plus, consultez Restreindre les dépôts distants.
  2. Sélectionnez ou créez un dépôt Dataform. Vous en aurez besoin plus tard pour partager un secret avec votre compte de service Dataform par défaut.

Rôles requis

Pour obtenir les autorisations nécessaires pour connecter un dépôt Dataform à un dépôt Git distant, demandez à votre administrateur de vous accorder le rôle IAM Administrateur Dataform (roles/dataform.admin) sur les dépôts. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Connecter un dépôt distant via SSH

Pour connecter un dépôt distant via SSH, vous devez générer une clé SSH et un secret Secret Manager. La clé SSH se compose d'une clé SSH publique et d'une clé SSH privée. Vous devez partager la clé SSH publique avec votre fournisseur Git et créer un secret Secret Manager avec la clé SSH privée. Partagez ensuite le secret avec votre compte de service Dataform par défaut.

Dataform utilise le secret avec la clé SSH privée pour se connecter à votre fournisseur Git et valider les modifications au nom des développeurs. Dataform effectue ces commits à l'aide de l'adresse e-mail du développeur Google Cloud pour que vous puissiez identifier l'auteur de chaque commit.

Pour connecter un dépôt distant à un dépôt Dataform via SSH, procédez comme suit :

  1. Dans votre fournisseur Git, procédez comme suit :

    Services Azure DevOps

    1. Dans Azure DevOps Services, créez une clé privée SSH.
    2. Importez la clé SSH publique dans votre dépôt Azure DevOps Services.

    Bitbucket

    1. Dans Bitbucket, créez une clé privée SSH.
    2. Importez la clé SSH publique dans votre dépôt Bitbucket.

    GitHub

    1. Dans GitHub, créez une clé SSH privée.
    2. Importez la clé SSH publique GitHub dans votre dépôt GitHub.

    GitLab

    1. Dans GitLab, créez une clé SSH privée.
    2. Importez la clé SSH publique GitLab dans votre dépôt GitLab.

  2. Dans Secret Manager, créez un secret et définissez votre clé SSH privée comme valeur du secret.

    1. Accordez l'accès au secret à votre compte de service Dataform par défaut.

      Votre compte de service Dataform par défaut est au format suivant :

      service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    2. Attribuez le rôle roles/secretmanager.secretAccessor au compte de service.

  3. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  4. Sélectionnez le dépôt Dataform que vous souhaitez connecter au dépôt distant.

  5. Sur la page du dépôt, cliquez sur Paramètres > Se connecter à Git.

  6. Dans le volet Associer à un dépôt distant, dans le champ URL du dépôt Git distant, saisissez l'URL du dépôt Git distant, en terminant par .git.

    L'URL du dépôt Git distant doit être dans l'un des formats suivants :

    • URL absolue : ssh://git@{host_name}[:{port}]/{repository_path}, port est facultatif.
    • URL de type SCP : git@{host_name}:{repository_path}.

  7. Dans le champ Nom de la branche distante par défaut, saisissez le nom de la branche de développement principale du dépôt Git distant.

  8. Dans le menu déroulant Secret, sélectionnez votre secret pour le dépôt Git distant.

  9. Dans le champ Valeur de la clé d'hôte publique SSH, saisissez la clé d'hôte publique de votre fournisseur Git.

    Services Azure DevOps

    La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

    ALGORITHM BASE64_KEY_VALUE

    Pour récupérer la clé hôte publique Azure DevOps Services, exécutez la commande ssh-keyscan -t rsa ssh.dev.azure.com dans le terminal.

    Bitbucket

    La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

    ALGORITHM BASE64_KEY_VALUE

    Pour récupérer la clé d'hôte publique Bitbucket, consultez Configurer SSH.

    GitHub

    La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

    ALGORITHM BASE64_KEY_VALUE

    Pour récupérer la clé publique de l'hôte GitHub, consultez Empreintes de la clé SSH de GitHub.

    GitLab

    La valeur de la clé d'hôte publique SSH doit être au format d'un fichier known_hosts. La valeur doit contenir un algorithme et une clé publique encodés au format base64, mais sans le nom d'hôte ni l'adresse IP, au format suivant :

    ALGORITHM BASE64_KEY_VALUE

    Pour récupérer la clé d'hôte publique GitLab, consultez Entrées SSH known_hosts.

  10. Cliquez sur Associer.

Associer un dépôt distant via HTTPS

Pour connecter un dépôt distant via HTTPS, vous devez créer un secret Secret Manager avec un jeton d'accès personnel, puis le partager avec votre compte de service Dataform par défaut.

Dataform utilise ensuite le jeton d'accès pour se connecter à votre fournisseur Git et valider les modifications au nom des développeurs. Dataform effectue ces commits à l'aide de l'adresse e-mail Google Cloud du développeur. Vous pouvez ainsi savoir qui a effectué chaque commit.

Pour associer un dépôt distant à un dépôt Dataform via HTTPS, procédez comme suit :

  1. Dans votre fournisseur Git, procédez comme suit :

    GitHub

    1. Dans GitHub, créez un jeton d'accès personnel précis ou un jeton d'accès personnel classique.

      • Pour obtenir un jeton d'accès personnel GitHub précis, procédez comme suit :

      1. Sélectionnez l'accès aux dépôts pour certains dépôts uniquement, puis sélectionnez le dépôt que vous souhaitez connecter.

      2. Accorder un accès en lecture et en écriture au contenu du dépôt.

      3. Définissez une heure d'expiration du jeton adaptée à vos besoins.

      • Pour un jeton d'accès personnel GitHub classique, procédez comme suit :

      1. Accordez à Dataform l'autorisation repo.

      2. Définissez une heure d'expiration du jeton adaptée à vos besoins.

    2. Si votre organisation utilise l'authentification unique (SSO) SAML, autorisez le jeton.

    GitLab

    1. Dans GitLab, créez un jeton d'accès personnel GitLab.

    2. Nommez le jeton dataform.

      Le jeton d'accès personnel GitLab doit être nommé dataform.

    3. Accordez à Dataform les autorisations api, read_repository et write_repository.

    4. Définissez une heure d'expiration du jeton adaptée à vos besoins.

  2. Dans Secret Manager, créez un secret contenant le jeton d'accès personnel de votre dépôt distant.

  3. Accordez l'accès au secret à votre compte de service Dataform par défaut.

    Votre compte de service Dataform par défaut est au format suivant :

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
    1. Attribuez le rôle roles/secretmanager.secretAccessor au compte de service.

  4. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  5. Sélectionnez le dépôt Dataform que vous souhaitez connecter au dépôt distant.

  6. Sur la page du dépôt, cliquez sur Paramètres > Se connecter à Git.

  7. Dans le volet Associer à un dépôt distant, dans le champ URL du dépôt Git distant, saisissez l'URL du dépôt Git distant, en terminant par .git.

    L'URL du dépôt Git distant ne peut pas contenir de nom d'utilisateur ni de mot de passe.

  8. Dans le champ Nom de la branche distante par défaut, saisissez le nom de la branche de développement principale du dépôt Git distant.

  9. Dans le menu déroulant Secret, sélectionnez votre secret pour le dépôt Git distant.

  10. Cliquez sur Associer.

Modifier la connexion au dépôt distant

Pour modifier une connexion entre un dépôt Dataform et un dépôt Git distant, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Cliquez sur le dépôt que vous souhaitez modifier.

  3. Sur la page du dépôt, cliquez sur Paramètres > Modifier la connexion Git.

  4. Dans le volet Associer à un dépôt distant, modifiez les paramètres de connexion.

  5. Cliquez sur Mettre à jour.

Étapes suivantes