建構應用程式

本頁面說明如何建立應用程式並組合各種元件，例如輸入串流、分析模型和儲存資料的倉儲，以便用於 Vertex AI Vision 的應用程式平台。

如要建構應用程式，您必須考量資料來源、要執行的分析，以及結果的儲存方式。視用途而定，端對端應用程式可以有不同形式。因此，應用程式的建構方式取決於您的目標。

開始前，請從負責任的 AI 角度評估您的用途和目標，並考量模型和應用程式出錯時，可能會對使用者造成哪些影響。如要進一步瞭解評估用途公平性的初步步驟，請參閱這篇文章。此外，請確保您使用 Vertex AI Vision 時遵守 Google Cloud的《服務條款》或離線版本，以及納入的網址條款，例如 Google Cloud的《使用限制政策》。

建立應用程式時，請注意 AI 視覺技術可能會加強或產生不公平的偏見，並影響基本人權。開發應用程式時，應根據貴公司的價值觀進行道德反思，並針對特定用途 (包括高風險用途) 進行法律盡職調查。與所有技術一樣，您必須考量在導入 AI/ML 技術的區域，使用這類技術時適用的所有法律和法規。客戶有責任進行適當的盡職調查，以在特定區域實作視為高風險的用途。

建立新應用程式

如要在應用程式中新增串流或模型等元件，必須先建立應用程式。所有應用程式都必須包含下列項目才能部署：

• 串流輸入節點 (資料來源)。
• 至少一個其他元件節點，例如模型或倉庫。

建立新的自訂應用程式

使用範本建立應用程式

新增串流輸入

應用程式必須包含視訊串流節點。如果未新增 Streams 節點，您就無法部署應用程式。

如果應用程式尚未部署，系統會自動將串流輸入更新套用至應用程式。如果應用程式已部署，您必須先取消部署並更新應用程式，變更才會生效。詳情請參閱「更新應用程式」一節。

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     },
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

新增含有節點註解的串流輸入內容

建立應用程式輸入串流時，您可以使用 Vertex AI Vision API 將註解新增至串流。您也可以在Google Cloud 控制台中為節點新增註解。

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
    {
      "streamWithAnnotation": {
        "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
        "nodeAnnotations": [
          {
            "node": "NODE_NAME",
            "annotations": [
              {
                "id": "ANNOTATION_ID",
                "displayName": "ANNOTATION_DISPLAYNAME",
                "sourceStream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
                "type": ANNOTATION_TYPE,
                "activeZone": {
                  "normalizedVertices": {
                    "x": 0.07434944,
                    "y": 0.18061674
                  },
                  "normalizedVertices": {
                    "x": 0.64684016,
                    "y": 0.16079295
                  },
                  "normalizedVertices": {
                    "x": 0.6047088,
                    "y": 0.92070484
                  },
                  "normalizedVertices": {
                    "x": 0.1251549,
                    "y": 0.76651984
                  }
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

移除串流輸入內容

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput

{
  "targetStreamInputs": [
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     },
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput" | Select-Object -Expand Content

新增預先訓練的 Vertex AI Vision 模型

建立應用程式後，您可以新增模型，並將模型連結至串流、其他模型或媒體倉庫。

模型分為兩種：預先訓練模型或使用者訓練模型。同樣地，使用者訓練模型也可以分為兩種：AutoML 或自訂訓練：

• 預先訓練模型會執行特定目標，並以一般化資料訓練而成，可直接使用。
• 使用者訓練的 AutoML 或自訂訓練模型需要您識別並提供範例資料，然後訓練更適合您獨特用途的模型。您可以使用 Vertex AI 訓練這些模型。這項產品提供兩種訓練選項：AutoML 訓練模型和自訂訓練模型。詳情請參閱「選擇訓練方法」。

請按照下列操作說明，將預先訓練的 Vertex AI Vision 模型新增至應用程式圖表。

新增使用者訓練的 Vertex AI 模型

建立應用程式後，您可以新增模型，並將模型連結至串流、其他模型或媒體倉庫。

模型分為兩種：預先訓練模型或使用者訓練模型。同樣地，使用者訓練模型也可以分為兩種：AutoML 或自訂訓練：

• 預先訓練模型會執行特定目標，並以一般化資料訓練而成，可直接使用。
• 使用者訓練的 AutoML 或自訂訓練模型需要您識別並提供範例資料，然後訓練更適合您獨特用途的模型。您可以使用 Vertex AI 訓練這些模型。這項產品提供兩種訓練選項：AutoML 訓練模型和自訂訓練模型。詳情請參閱「選擇訓練方法」。

新增 Vertex AI AutoML 物件偵測串流模型

按照下列操作說明，將您訓練的 Vertex AI AutoML 物件偵測串流模型新增至應用程式圖表。

訓練 Vertex AI AutoML 模型前，請務必準備物件偵測資料並建立資料集。

訓練模型，以便在 Vertex AI Vision 中使用

在 Vertex AI 中建立包含代表性資料集合的資料集後，即可訓練模型，以用於 Vertex AI Vision。

將訓練好的模型新增至應用程式

模型訓練完成後，即可新增至 Vertex AI Vision 應用程式。

新增 Vertex AI 自訂模型

您也可以將 Vertex AI 自訂訓練模型匯入 Vertex AI Vision，用於資料分析。這些自訂訓練模型必須具備下列屬性：

• 模型必須為無狀態，因為模型輸入內容是來自不同應用程式例項 (串流) 的圖片，且順序可能不正確。如需有狀態的串流處理作業，您可能需要在自己的容器中保留狀態。
• 模型輸入內容大小上限為 1.5 MB。因此，Vertex AI Vision 必須將原始 RGB 圖片壓縮為有損格式，例如 JPG。

請按照下列操作說明，將您訓練的現有 Vertex AI 自訂訓練影片模型新增至應用程式圖表。

如要瞭解如何使用自訂容器建立 Vertex AI 自訂訓練模型，請參閱「使用自訂容器進行預測」。

指定執行個體 YAML 檔案

新增 Vertex AI 自訂訓練模型時，您必須指定儲存在 Cloud Storage 中的執行個體 YAML 檔案 (instances.yaml)。這個檔案會指定模型容器的預期輸入內容。

Vertex AI 會以以下格式傳送預測要求：

{
  "instances": [
    <value>|<simple/nested list>|<object>,
    ...
  ]
}

這裡的 instances.yaml 定義了酬載的結構。詳情請參閱「透過自訂訓練模型取得線上預測」。

Vertex AI Vision 僅支援具有一個具名預測輸入的自訂訓練模型。這個輸入類型必須是編碼的 JPEG 字串。預測輸入內容的結構定義必須以執行個體結構定義 YAML 檔案指定。這個結構定義 YAML 檔案必須採用 OpenAPI 結構定義物件格式。

舉例來說，下列結構定義會接收要求，並將圖片編碼到名為 image_bytes 的欄位中：

properties:
  image_bytes:
    type: string

自訂模型會收到下列格式的預測輸入內容：

{
  "instances": [
    {
      "image_bytes" : {
        "b64": "BASE64_ENCODED_IMAGE_BYTES"
      }
    }
  ]
}

將模型匯入 Vertex AI Vision 前，請先確認模型可正確處理這項輸入內容。

指定預測 YAML 檔案

新增 Vertex AI 自訂訓練模型時，您可以指定儲存在 Cloud Storage 中的預測 YAML 檔案 (predictions.yaml)。這個檔案會指定模型容器的輸出內容。

這個檔案為選用項目，但建議使用，可讓 Vertex AI Vision 瞭解模型的輸出結構。舉例來說，下列 classification_1.0.0.yaml 檔案說明圖片分類模型的模型輸出資訊：

title: Classification
type: object
description: >
  The predicted AnnotationSpecs.
properties:
  ids:
    type: array
    description: >
      The resource IDs of the AnnotationSpecs that had been identified.
    items:
      type: integer
      format: int64
      enum: [0]  # As values of this enum all AnnotationSpec IDs the Model
      # was trained on will be populated.
  displayNames:
    type: array
    description: >
      The display names of the AnnotationSpecs that had been identified,
      order matches the IDs.
    items:
      type: string
      enum: [""]  # As values of this enum all AnnotationSpec display_names
      # the Model was trained on will be populated.
  confidences:
    type: array
    description: >
      The Model's confidences in correctness of the predicted IDs, higher
      value means higher confidence. Order matches the Ids.
    items:
      type: number
      format: float
      minimum: 0.0
      maximum: 1.0

新增自訂訓練模型

請使用下列範例，將 Vertex AI 自訂訓練模型新增至應用程式。

(選用步驟) 附加應用程式中繼資料

除了圖片位元組，您也可以選擇設定 attach_application_metadata，要求 Vertex AI Vision 應用程式平台一併傳送應用程式的中繼資料至自訂容器。

中繼資料的結構定義如下：

'appPlatformMetadata': {
     'application': STRING;
     'instanceId': STRING;
     'node': STRING;
     'processor': STRING;
   }

(選用步驟) 新增動態設定 Pub/Sub 主題

如要動態控制 Vertex Custom Operator 將視訊影格傳送至 Vertex 自訂容器的影格速率，您可以建立 Pub/Sub 主題。將其新增至節點設定的 Dynamic Configuration 區段。

如果已設定 Pub/Sub 主題，初始影格速率為 0。在影片處理期間，您可以即時將 Pub/Sub 訊息傳送至 Pub/Sub 主題，以變更影格速率，格式如下：

{
  "stream_id": "input-stream-id",
  "fps": 5,
}

stream_id 欄位應與應用程式輸入串流的 ID 相符。

服務帳戶和權限

自訂容器的預設服務憑證已設定為 Vertex AI Vision 應用程式平台的 Google 擁有服務帳戶。如要從容器存取其他 Google Cloud服務，請授予下列項目適當的權限：service-<var>PROJECT_NUMBER</var>@gcp-sa-visionai.iam.gserviceaccount.com

(選用步驟) 使用 Cloud Run 函式和 Pub/Sub 建立模型事件通知

在 Vertex AI Vision 中，模型會接收來自攝影機等裝置的媒體資料、對資料執行 AI 預測，並持續產生註解。您通常會將處理過的資料傳送至資料目的地 (「資料接收器」)，例如媒體倉儲或 BigQuery，以進行進一步的分析作業。不過，在某些情況下，您可能必須以不同方式處理部分註解，或是註解需求有時效性。與 Cloud Run 函式和 Pub/Sub 整合，有助於滿足這些需求。

支援的模型

下列模型提供 Cloud Run 函式事件產生和 Pub/Sub 事件通知整合功能：

• 車輛乘載人數分析模型
• Vertex AI 自訂訓練模型

設定 Cloud Run 函式來處理模型輸出內容

如要觸發以事件為準的通知，請先設定 Cloud Run 函式，處理模型輸出內容並產生事件。

Cloud Run 函式會連線至模型，並監聽模型的輸出內容，做為後續處理動作。您應傳回 Cloud Run 函式 AppPlatformCloudFunctionResponse。事件 (appplatformeventbody) 會傳送至您在下一個步驟中設定的 Pub/Sub 主題。

如要查看 Cloud Run 函式範例，請參閱「使用 Cloud Functions 和 Pub/Sub 啟用模型事件通知」。

請按照下列操作說明，將模型輸出串流傳送至 Cloud Run 函式：

透過 Pub/Sub 啟用模型事件通知

設定 Cloud Run 函式來處理模型輸出內容並產生事件後，您可以使用 Pub/Sub 設定事件通知。如要從主題讀取訊息，您也需要選擇並建立 Pub/Sub 訂閱項目。

將模型輸出內容連結至下游節點

建立模型節點後，您可以將其輸出內容連線至其他節點。

將輸出內容連結至資料目的地

建立資料擷取串流並將處理節點新增至應用程式後，您必須選擇要將處理後的資料傳送到何處。這個資料目的地是應用程式圖表的終點，可接受串流資料，但不會產生任何串流資料。選擇目的地時，請考量您如何使用應用程式輸出資料。

您可以將應用程式輸出資料連結至下列資料目的地：

1. Vision Warehouse：儲存原始或分析過的影片資料，供您查看及查詢。

   如要進一步瞭解如何將應用程式輸出資料傳送至 Vision Warehouse，請參閱「連結資料並儲存至資料倉儲」。

2. BigQuery：將資料儲存在 BigQuery 中，以便使用離線分析功能。

   如要進一步瞭解如何將應用程式輸出資料傳送至 BigQuery，請參閱「連結及儲存資料至 BigQuery」。

3. 直播資料：如要更精細地掌控即時數據分析，以便採取行動，可以接收應用程式的即時輸出內容。

   如要進一步瞭解如何直接串流應用程式輸出資料，請參閱「啟用直播輸出」。

更新應用程式

未部署的應用程式

修改應用程式 (例如新增或移除元件節點)；Vertex AI Vision 會自動儲存變更。

後續步驟

• 請參閱「部署應用程式」，瞭解如何部署應用程式，以便擷取及分析資料。
• 如要瞭解如何從應用程式的輸入串流開始擷取資料，請參閱「建立及管理串流」一文中的操作說明。
• 如要瞭解如何列出應用程式，以及查看已部署應用程式的執行個體，請參閱「管理應用程式」。
• 請參閱「讀取串流資料」，瞭解如何從擷取串流讀取應用程式輸入資料，或讀取分析模型輸出資料。