Operazioni batch di archiviazione

Questa pagina fornisce una panoramica delle operazioni batch di archiviazione, dei relativi vantaggi, dei casi d'uso, delle configurazioni dei job e delle limitazioni.

Panoramica

Le operazioni in batch di archiviazione sono una funzionalità di gestione di Cloud Storage che consente di eseguire operazioni su miliardi di oggetti Cloud Storage in modo serverless.

Utilizzando le operazioni batch di archiviazione, puoi automatizzare le operazioni API su larga scala sugli oggetti Cloud Storage, riducendo i tempi di sviluppo necessari per scrivere e gestire gli script per queste operazioni. Per garantire un'esecuzione affidabile, le operazioni batch di archiviazione gestiscono automaticamente i tentativi di nuovo invio per le operazioni non riuscite. Inoltre, le operazioni batch di archiviazione offrono un monitoraggio dettagliato dell'avanzamento per monitorare lo stato e il completamento di tutti i job. Storage Batch Operations è una funzionalità esclusiva disponibile solo tramite l'abbonamento a Storage Intelligence. Per informazioni sui prezzi, consulta la pagina Prezzi di Storage Intelligence.

Vantaggi

  • Scalabilità: esegui trasformazioni su milioni di oggetti con un singolo job di operazioni in batch per lo spazio di archiviazione.
  • Esecuzione serverless: esegui job batch in un ambiente serverless, eliminando la necessità di gestire l'infrastruttura.
  • Automazione: automatizza le attività complesse e ripetitive, migliorando l'efficienza operativa.
  • Tempi di sviluppo ridotti: evita di scrivere e gestire script personalizzati complessi.
  • Rendimento: completa le operazioni urgenti entro il tempo richiesto. Con più job batch in esecuzione contemporaneamente in un bucket, puoi elaborare fino a un miliardo di oggetti in tre ore.

Casi d'uso

Le operazioni batch dello spazio di archiviazione, se utilizzate con Storage Insights, sono utili per i seguenti casi d'uso:

  • Gestione della sicurezza:

    • Imposta le chiavi di crittografia su più oggetti utilizzando il metodo rewrite object.
    • Applica o rimuovi i blocchi degli oggetti per controllare l'immutabilità degli oggetti.
  • Conformità:

    • Utilizza le sospensioni degli oggetti per soddisfare i requisiti di conservazione dei dati per la conformità alle normative.
    • Elimina i dati tra periodi di tempo specifici per soddisfare i requisiti di conformità al wipeout.
  • Trasformazione dei dati: esegui aggiornamenti collettivi ai metadati degli oggetti.

  • Ottimizzazione dei costi: elimina in blocco gli oggetti nei bucket Cloud Storage per ridurre i costi di archiviazione.

Configurazioni job

Per creare un job di operazioni batch di archiviazione, devi impostare le seguenti configurazioni del job. Le configurazioni dei job sono parametri che controllano la definizione del job per diversi requisiti di elaborazione.

  • Nome job: un nome univoco per identificare il job di operazioni batch di archiviazione. Viene utilizzato per monitorare, monitorare e fare riferimento al job. I nomi dei job sono alfanumerici, ad esempio job-01.

  • Descrizione del job (facoltativa): una breve descrizione dello scopo del job. In questo modo, puoi comprendere e documentare i dettagli del job. Ad esempio, Deletes all objects in a bucket.

  • Nome bucket: il nome del bucket di archiviazione contenente gli oggetti da elaborare. Questo è essenziale per individuare i dati di input. Ad esempio: my-bucket. Puoi specificare un solo nome del bucket per un job.

  • Selezione degli oggetti: i criteri di selezione che definiscono gli oggetti da elaborare. Puoi specificare i criteri utilizzando una delle seguenti opzioni:

    • Manifest: crea un manifest e specifica la relativa posizione quando crei il job di operazioni batch di archiviazione. Il manifest è un file CSV caricato in Google Cloudche contiene un oggetto o un elenco di oggetti da elaborare. Ogni riga del file manifest deve includere bucket e name dell'oggetto. Se vuoi, puoi specificare il generation dell'oggetto. Se non specifichi generation, viene utilizzata la versione corrente dell'oggetto.

      Il file deve includere una riga di intestazione nel seguente formato:

      bucket,name,generation

      Di seguito è riportato un esempio del manifest:

      bucket,name,generation
      bucket_1,object_1,generation_1
      bucket_1,object_2,generation_2
      bucket_1,object_3,generation_3
      

      Puoi anche creare un manifest utilizzando i set di dati di Storage Insights. Per maggiori dettagli, vedi Creare un manifest utilizzando i set di dati di Storage Insights.

    • Prefissi degli oggetti: specifica un elenco di prefissi per filtrare gli oggetti all'interno del bucket. Vengono elaborati solo gli oggetti con questi prefissi. Se è vuoto, vengono elaborati tutti gli oggetti nel bucket.

  • Tipo di job: le operazioni batch di archiviazione supportano i seguenti tipi di job, eseguendo un singolo job per operazione batch.

    • Eliminazione di oggetti: puoi eliminare oggetti all'interno di un bucket. Questo è fondamentale per l'ottimizzazione dei costi, la gestione del ciclo di vita dei dati e la conformità alle norme di eliminazione dei dati.

    • Aggiornamenti dei metadati: puoi modificare i metadati dell'oggetto. Sono inclusi l'aggiornamento dei metadati personalizzati, della classe di archiviazione e di altre proprietà degli oggetti.

    • Aggiornamenti dei blocchi di oggetti: puoi attivare o disattivare i blocchi di oggetti. I blocchi degli oggetti ne impediscono l'eliminazione o la modifica, il che è essenziale per la conformità e la conservazione dei dati.

    • Aggiornamenti delle chiavi di crittografia degli oggetti: puoi gestire le chiavi di crittografia gestite dal cliente per uno o più oggetti. Sono incluse l'applicazione o la modifica delle chiavi di crittografia utilizzando il metodo rewrite object.

Limitazioni

Le operazioni batch di archiviazione presentano le seguenti limitazioni:

  • I job di operazioni batch di archiviazione hanno una durata massima di 14 giorni. Qualsiasi job in corso che non viene completato entro 14 giorni dalla sua creazione viene annullato automaticamente.

  • Non è consigliabile eseguire più di 20 job di operazioni collettive simultanee nello stesso bucket.

  • Le operazioni batch di archiviazione non sono compatibili con Controlli di servizio VPC.

  • Le operazioni batch di archiviazione non sono supportate nei seguenti bucket:

Passaggi successivi