Opérations Storage par lot

Cette page présente les opérations par lot de stockage, leurs avantages, leurs cas d'utilisation, leurs configurations de tâche et leurs limites.

Présentation

Les opérations par lots de stockage sont une fonctionnalité de gestion Cloud Storage qui effectue des opérations sur des milliards d'objets Cloud Storage de manière sans serveur.

Les opérations par lot de stockage vous permettent d'automatiser les opérations d'API à grande échelle sur les objets Cloud Storage, ce qui réduit le temps de développement nécessaire pour écrire et gérer des scripts pour ces opérations. Pour garantir un fonctionnement fiable, les opérations par lot de stockage gèrent automatiquement les nouvelles tentatives pour les opérations ayant échoué. De plus, les opérations par lot de stockage offrent un suivi détaillé de la progression pour surveiller l'état et l'avancement de toutes les tâches. Les opérations par lot de stockage sont une fonctionnalité exclusive disponible uniquement avec l'abonnement Storage Intelligence. Pour en savoir plus sur la tarification, consultez la section Tarifs de Storage Intelligence.

Avantages

  • Évolutivité: effectuez des transformations sur des millions d'objets avec une seule tâche d'opérations par lots de stockage.
  • Exécution sans serveur: exécutez des jobs par lot dans un environnement sans serveur, ce qui vous évite de gérer l'infrastructure.
  • Automatisation: automatisez les tâches complexes et répétitives pour améliorer l'efficacité opérationnelle.
  • Réduction du temps de développement: évitez d'écrire et de gérer des scripts personnalisés complexes.
  • Performances: effectuez les opérations urgentes dans le délai requis. Avec plusieurs tâches par lot exécutées simultanément sur un bucket, vous pouvez traiter jusqu'à un milliard d'objets en trois heures.

Cas d'utilisation

Les opérations par lot de stockage, lorsqu'elles sont utilisées avec Storage Insights, sont utiles pour les cas d'utilisation suivants:

  • Gestion de la sécurité:

    • Définissez des clés de chiffrement sur plusieurs objets à l'aide de la méthode rewrite object (réécrire l'objet).
    • Appliquez ou supprimez des obligations de conservation d'objets pour contrôler leur immuabilité.

  • Conformité:

    • Utilisez des retenues d'objets pour répondre aux exigences de conservation des données en vue de la conformité réglementaire.
    • Supprimez les données entre des périodes spécifiques pour répondre aux exigences de conformité en matière d'effacement.

  • Transformation des données: effectuez des mises à jour groupées des métadonnées des objets.

  • Optimisation des coûts: supprimez de manière groupée des objets dans des buckets Cloud Storage pour réduire les coûts de stockage.

Configurations de tâches

Pour créer une tâche d'opérations par lot de stockage, vous devez définir les configurations de tâche suivantes. Les configurations de tâche sont des paramètres qui contrôlent la façon dont la tâche est définie pour différentes exigences de traitement.

  • Nom de la tâche: nom unique permettant d'identifier la tâche d'opérations par lot de stockage. Il permet de suivre, de surveiller et de référencer la tâche. Les noms de tâches sont alphanumériques (par exemple, job-01).

  • Description du poste (facultatif): brève description de l'objectif du poste. Cela permet de comprendre et de documenter les détails de la tâche. Exemple : Deletes all objects in a bucket.

  • Nom du bucket: nom du bucket de stockage contenant les objets à traiter. Cela est essentiel pour localiser les données d'entrée. Par exemple, my-bucket. Vous ne pouvez spécifier qu'un seul nom de bucket pour une tâche.

  • Sélection d'objets: critères de sélection qui définissent les objets à traiter. Vous pouvez spécifier les critères à l'aide de l'une des options suivantes:

    • Fichier manifeste: créez un fichier manifeste et spécifiez son emplacement lorsque vous créez la tâche d'opérations par lot de stockage. Le fichier manifeste est un fichier CSV importé dans Google Cloud. Il contient un objet ou une liste d'objets que vous souhaitez traiter. Chaque ligne du fichier manifeste doit inclure les bucket et name de l'objet. Vous pouvez éventuellement spécifier l'generation de l'objet. Si vous ne spécifiez pas generation, la version actuelle de l'objet est utilisée.

      Le fichier doit inclure une ligne d'en-tête au format suivant:

      bucket,name,generation

      Voici un exemple de fichier manifeste:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Vous pouvez également créer un fichier manifeste à l'aide d'ensembles de données Storage Insights. Pour en savoir plus, consultez Créer un fichier manifeste à l'aide d'ensembles de données Storage Insights.

    • Préfixes d'objet: spécifiez une liste de préfixes pour filtrer les objets du bucket. Seuls les objets avec ces préfixes sont traités. Si ce champ est vide, tous les objets du bucket sont traités.

  • Type de tâche:les opérations par lot de stockage sont compatibles avec les types de tâches suivants, qui exécutent une seule tâche par opération par lot.

    • Suppression d'objets: vous pouvez supprimer des objets dans un bucket. Cela est essentiel pour optimiser les coûts, gérer le cycle de vie des données et respecter les règles de suppression des données.

    • Mises à jour des métadonnées: vous pouvez modifier les métadonnées de l'objet. Cela inclut la mise à jour des métadonnées personnalisées, de la classe de stockage et d'autres propriétés d'objet.

    • Mises à jour des obligations de conservation d'objets: vous pouvez activer ou désactiver les obligations de conservation d'objets. Les obligations de conservation empêchent la suppression ou la modification des objets, ce qui est essentiel à des fins de conformité et de conservation des données.

    • Modifications des clés de chiffrement des objets: vous pouvez gérer les clés de chiffrement gérées par le client d'un ou de plusieurs objets. Cela inclut l'application ou la modification de clés de chiffrement à l'aide de la méthode rewrite object (réécrire l'objet).

Limites

Les opérations par lot de stockage sont soumises aux restrictions suivantes:

  • La durée de vie maximale des tâches d'opérations par lot de stockage est de 14 jours. Toute tâche en cours qui n'est pas terminée dans les 14 jours suivant sa création est automatiquement annulée.

  • Nous vous déconseillons d'exécuter plus de 20 tâches d'opérations par lots simultanées sur le même bucket.

  • Les opérations par lot de stockage ne sont pas compatibles avec VPC Service Controls.

  • Les opérations par lot de stockage ne sont pas compatibles avec les buckets suivants:

    • Les buckets pour lesquels les paiements du demandeur sont activés

    • Buckets situés dans les régions eur4 ou us-west8

Étapes suivantes