Les E/S gérées sont compatibles avec les fonctionnalités suivantes pour BigQuery :
- Création de tables dynamiques
- Destinations dynamiques
- Pour les lectures, le connecteur utilise l'API BigQuery Storage Read.
Pour les écritures, le connecteur utilise les méthodes BigQuery suivantes :
- Si la source n'est pas limitée et que Dataflow utilise le traitement en flux continu "exactement une fois", le connecteur effectue des écritures dans BigQuery à l'aide de l'API BigQuery Storage Write avec une sémantique de distribution "exactement une fois".
- Si la source n'est pas limitée et que Dataflow utilise le traitement en flux continu "au moins une fois", le connecteur effectue des écritures dans BigQuery à l'aide de l'API BigQuery Storage Write avec la sémantique de distribution "au moins une fois".
- Si la source est limitée, le connecteur utilise les chargements de fichiers BigQuery.
Conditions requises
Les SDK suivants sont compatibles avec les E/S gérées pour BigQuery :
- SDK Apache Beam pour Java version 2.61.0 ou ultérieure
- SDK Apache Beam pour Python version 2.61.0 ou ultérieure
Configuration
| Lire et écrire la configuration | Type de données | Description |
|---|---|---|
table |
chaîne | Table BigQuery à lire ou dans laquelle écrire. Mettez-le en forme comme suit : "PROJECT.DATASET.TABLE". Exemple :
"my_project.dataset1.table1". |
kms_key |
chaîne | Spécifie une clé Cloud Key Management Service (Cloud KMS) pour chiffrer la table BigQuery lors de l'écriture ou pour chiffrer les tables temporaires créées lors des lectures. |
| Lire la configuration | Type de données | Description |
fields |
liste de chaînes | Liste des colonnes à lire dans la table. Ce paramètre permet des lectures efficaces lorsqu'une table contient de nombreuses colonnes. |
query |
chaîne | Requête SQL à partir de laquelle lire les données. Si elle est spécifiée, le connecteur exécute la requête sur BigQuery et lit les résultats de la requête. |
row_restriction |
chaîne | Prédicat qui filtre les données côté serveur. Exemple : "age > 18". |
| Écrire la configuration | Type de données | Description |
triggering_frequency |
entier | Pour les sources non limitées, spécifie la fréquence à laquelle les écritures de fichiers sont déclenchées, en secondes. |
Pour les lectures, vous devez spécifier table ou query. Pour les écritures, vous devez spécifier table.
Pour plus d'informations, consultez les articles suivants :