Vertex AI Model Monitoring for batch inferences

控制台

請按照操作說明，發出啟用模型監控功能的批次推論要求：

• 表格型 AutoML 分類和迴歸

• 表格資料 AutoML 預測

• 表格自訂訓練

REST API

按照操作說明，使用 REST API 發出批次推論要求：

• 表格型 AutoML 分類和迴歸

• 表格資料 AutoML 預測

• 表格自訂訓練

建立批次推論要求時，請將下列模型監控設定新增至要求 JSON 主體：

"modelMonitoringConfig": {
 "alertConfig": {
   "emailAlertConfig": {
     "userEmails": "EMAIL_ADDRESS"
   },
  "notificationChannels": [NOTIFICATION_CHANNELS]
 },
 "objectiveConfigs": [
   {
     "trainingDataset": {
       "dataFormat": "csv",
       "gcsSource": {
         "uris": [
           "TRAINING_DATASET"
         ]
       }
     },
     "trainingPredictionSkewDetectionConfig": {
       "skewThresholds": {
         "FEATURE_1": {
           "value": VALUE_1
         },
         "FEATURE_2": {
           "value": VALUE_2
         }
       }
     }
   }
 ]
}

其中：

• EMAIL_ADDRESS 是您要接收模型監控快訊的電子郵件地址。例如：[email protected]。

• NOTIFICATION_CHANNELS： 您要接收模型監控快訊的Cloud Monitoring 通知管道清單。使用通知管道的資源名稱，您可以列出專案中的通知管道來擷取這些名稱。例如："projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568"。

• TRAINING_DATASET 是儲存在 Cloud Storage 中的訓練資料集連結。

  • 如要使用 BigQuery 訓練資料集的連結，請將 gcsSource 欄位替換為下列內容：

  "bigquerySource": {
      {
        "inputUri": "TRAINING_DATASET"
      }
   }
  

  • 如要使用 AutoML 模型連結，請將 gcsSource 欄位替換為下列內容：

  "dataset": "TRAINING_DATASET"

• FEATURE_1：VALUE_1 和 FEATURE_2：VALUE_2 是要監控的各項功能的警示門檻。舉例來說，如果您指定 Age=0.4，當 Age 特徵的輸入和基準分布之間的統計距離超過 0.4 時，模型監控就會記錄快訊。根據預設，系統會以 0.3 的閾值監控每個類別和數值特徵。

如要進一步瞭解模型監控設定，請參閱監控工作參考資料。

Python

請參閱範例筆記本，瞭解如何使用 Model Monitoring 為自訂表格模型執行批次推論工作。

控制台 (直方圖)

使用 Google Cloud 控制台查看每個受監控特徵的特徵分布直方圖，並瞭解哪些變更導致偏移：

1. 前往「批次預測」頁面：

   前往「批次預測」

2. 在「批次預測」頁面上，按一下要分析的批次推論工作。

3. 按一下「模型監控快訊」分頁，即可查看模型輸入特徵的清單，以及相關資訊，例如每個特徵的快訊門檻。

4. 如要分析某項功能，請按一下該功能的名稱。頁面會顯示該特徵的特徵分布直方圖。

   以直方圖呈現資料分布情形，可讓您快速掌握資料的變化。之後，您可能會決定調整特徵生成管道或重新訓練模型。

   

控制台 (JSON 檔案)

使用 Google Cloud 控制台以 JSON 格式存取指標：

1. 前往「批次預測」頁面：

   前往「批次預測」

2. 按一下批次推論監控工作的名稱。

3. 按一下「監控屬性」分頁標籤。

4. 按一下「監控輸出目錄」連結，系統會將您導向 Cloud Storage bucket。

5. 按一下 metrics/ 資料夾。

6. 按一下 skew/ 資料夾。

7. 按一下 feature_skew.json 檔案，系統會將您導向「物件詳細資料」頁面。

8. 使用任一選項開啟 JSON 檔案：

• 按一下「下載」，然後在本機文字編輯器中開啟檔案。

• 使用 gsutil URI 路徑，在 Cloud Shell 或本機終端機中執行 gcloud storage cat gsutil_URI。

feature_skew.json 檔案包含字典，其中鍵為特徵名稱，值為特徵偏斜。例如：

{
  "cnt_ad_reward": 0.670936,
  "cnt_challenge_a_friend": 0.737924,
  "cnt_completed_5_levels": 0.549467,
  "month": 0.293332,
  "operating_system": 0.05758,
  "user_pseudo_id": 0.1
}

Python

如要存取自訂表格模型的偏差指標，請參閱範例筆記本，並使用 Model Monitoring 執行批次推論工作。