创建 Apache Iceberg 只读外部表

SQL

使用 CREATE EXTERNAL TABLE 语句。 以下示例创建了一个名为 myexternal-table 的 Iceberg 只读表：

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

将 uris 值替换为特定表快照的最新 JSON 元数据文件。

您可以通过设置 require_partition_filter 标志来启用需要分区过滤条件。

bq

在命令行环境中，将 bq mk --table 命令与 @connection 修饰器结合使用，指定要在 --external_table_definition 参数末尾使用的连接。如需启用需要分区过滤条件，请使用 --require_partition_filter。

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

替换以下内容：

• TABLE_FORMAT：要创建的表的格式

  在此示例中为 ICEBERG。

• URI：特定表快照的最新 JSON 元数据文件。

  例如 gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json。

  URI 也可以指向外部云端位置，例如 Amazon S3 或 Azure Blob Storage。

  • AWS 示例：s3://mybucket/iceberg/metadata/1234.metadata.json。
  • Azure 示例：azure://mystorageaccount.blob.core.windows.net/mycontainer/iceberg/metadata/1234.metadata.json。

• CONNECTION_PROJECT_ID：包含用于创建 Iceberg 只读表的连接的项目，例如 myproject

• CONNECTION_REGION：包含用于创建 Iceberg 只读表的连接的区域，例如 us

• CONNECTION_ID：表连接 ID，例如 myconnection

  当您在 Google Cloud 控制台中查看连接详情时，连接 ID 是连接 ID 中显示的完全限定连接 ID 的最后一部分的值，例如 projects/myproject/locations/connection_location/connections/myconnection

• DATASET：要在其中创建表的 BigQuery 数据集的名称

  例如 mydataset。

• EXTERNAL_TABLE：您要创建的表的名称

  例如 mytable。

bq

1. 创建表定义文件：

   bq mkdef --source_format=ICEBERG \
   "URI" > TABLE_DEFINITION_FILE
   

2. 使用带有 --autodetect_schema 标志的 bq update 命令。

   bq update --autodetect_schema --external_table_definition=TABLE_DEFINITION_FILE
   PROJECT_ID:DATASET.TABLE
   

   替换以下内容：

   • URI：包含最新 JSON 元数据文件的 Cloud Storage URI

     例如 gs://mybucket/us/iceberg/mytable/metadata/1234.metadata.json。

   • TABLE_DEFINITION_FILE：包含表架构的文件的名称

   • PROJECT_ID：要更新的表所属的项目的 ID

   • DATASET：包含要更新的表的数据集

   • TABLE：要更新的表

API

使用 tables.patch 方法，并将 autodetect_schema 属性设置为 true：

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

替换以下内容：

• PROJECT_ID：要更新的表所属的项目的 ID
• DATASET：包含要更新的表的数据集
• TABLE：要更新的表

在请求正文中，为以下字段指定更新后的值：

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

将 URI 替换为最新的 Iceberg 元数据文件。例如 gs://mybucket/us/iceberg/mytable/metadata/1234.metadata.json。

SQL

使用 CREATE EXTERNAL TABLE 语句。以下示例会创建一个启用了需要分区过滤条件的 Iceberg 只读表，名为 TABLE：

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

替换以下内容：

• TABLE：您要创建的表的名称。
• PROJECT_ID：包含您要创建的表的项目的 ID。
• REGION：您要在其中创建 Iceberg 表的位置。

• CONNECTION_ID：连接 ID。例如 myconnection。

• URI：包含最新 JSON 元数据文件的 Cloud Storage URI。

  例如 gs://mybucket/us/iceberg/mytable/metadata/1234.metadata.json。

  URI 也可以指向外部云端位置，例如 Amazon S3 或 Azure Blob Storage。

  • AWS 示例：s3://mybucket/iceberg/metadata/1234.metadata.json。
  • Azure 示例：azure://mystorageaccount.blob.core.windows.net/mycontainer/iceberg/metadata/1234.metadata.json。

bq

将 bq mk --table 命令与 @connection 修饰器结合使用，指定要在 --external_table_definition 参数末尾使用的连接。使用 --require_partition_filter 启用需要分区过滤条件。以下示例会创建一个名为 TABLE 的 Iceberg 只读表，并启用需要分区过滤条件：

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

替换以下内容：

• URI：特定表快照的最新 JSON 元数据文件

  例如 gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json。

  URI 也可以指向外部云端位置，例如 Amazon S3 或 Azure Blob Storage。

  • AWS 示例：s3://mybucket/iceberg/metadata/1234.metadata.json。
  • Azure 示例：azure://mystorageaccount.blob.core.windows.net/mycontainer/iceberg/metadata/1234.metadata.json。

• CONNECTION_PROJECT_ID：包含用于创建 Iceberg 只读表的连接的项目，例如 myproject

• CONNECTION_REGION：包含用于创建 Iceberg 只读表的连接的区域。例如 us。

• CONNECTION_ID：连接 ID。例如 myconnection。

  当您在 Google Cloud 控制台中查看连接详情时，连接 ID 是连接 ID 中显示的完全限定连接 ID 的最后一部分的值，例如 projects/myproject/locations/connection_location/connections/myconnection

• DATASET：包含您要更新的表的

  BigQuery 数据集的名称。例如 mydataset。

• EXTERNAL_TABLE：要创建的表的名称

  例如 mytable。

bq

使用 bq update 命令并提供 --require_partition_filter 标志。

例如：

如需更新默认项目中 mydataset 的 mypartitionedtable，请输入以下命令：

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE