診斷問題

造成這種情況的原因有很多，如要排解這項錯誤，請按照下列步驟操作：

1. 確認來源資料庫已啟動且可連線。
2. 從「串流」或「連線設定檔」頁面，前往來源連線設定檔。
3. 確認連線設定檔連線資訊正確無誤。
4. 確認使用者名稱和密碼相符。
5. 確認資料庫中存在該使用者名稱，且使用者具備必要權限。
6. 儲存您在「連線設定檔」頁面所做的變更。

系統會自動繼續播放。

1. 請確認已完成所有必要條件 VPC 對等互連必要條件。

2. 建立私人連線設定後，請確認包含資料庫內部 IP 位址的路徑是否顯示在「VPC Network Peering」(虛擬私有雲網路對等互連) 頁面的「Exported routes」(匯出路徑) 分頁中。

   如要這麼做，請前往「虛擬私有雲網路對等互連」頁面，然後搜尋已新增的對等互連 (名稱為 peering-[UUID])。您可以在「匯出的路徑」分頁中找到路徑。如果沒有這個路徑，請手動新增。

3. Datastream 不會檢查是否與動態對等互連路徑重疊。如果提供的子網路與動態路徑重疊，可能會導致連線問題。因此，我們不建議使用屬於動態路徑的子網路。
4. 請確認 Datastream IP 位址範圍的自訂路徑已正確通告。如果缺少自訂路徑，請參閱「自訂通告路徑」。
5. 如果仍無法連線至來源資料庫，請參閱「設定反向 Proxy」。

1. 請確認已完成所有必要條件。
2. 確認防火牆規則允許所提供網路連結的子網路連線至來源資料庫。
3. 請確認 Datastream IP 位址範圍的自訂路徑已正確通告。如果缺少自訂路徑，請參閱「自訂通告路徑」。

您為要建立的連線設定檔選擇了公開 IP 許可清單或轉送安全殼層通道網路連線方法。不過，系統已啟用 Datastream 的「封鎖公開連線方法」機構政策。因此，您無法為連線設定檔選取公開連線方法。

如要解決這個問題，請選取私人 VPC 對等互連或 Private Service Connect 介面網路連線方法，或是停用機構政策。

如要停用機構政策，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Organization policies」(機構政策) 頁面。
2. 選取「Datastream - Block Public Connectivity Methods」(Datastream - 封鎖公開連線方法) 機構政策。

3. 點選「編輯」。

4. 在頁面的「套用對象」部分選取「自訂」。

5. 在「強制執行」部分，選取「關閉」。

6. 按一下 [儲存]。
7. 返回您要建立的 Oracle 連線設定檔，然後按一下「建立」。

如果資料庫有數千個資料表和結構定義，就可能發生這種情況。在 Google Cloud 控制台中設定串流的來源時，部分物件可能不會納入要提取的物件清單。在「選取要納入的物件」部分中，選取「自訂」，而非「特定結構定義和資料表」。在「物件比對條件」欄位中，輸入要讓 Datastream 擷取的結構定義和資料表。

串流期間，Datastream 可能會捨棄不支援的事件。如要解決這個問題，請採取下列行動：

• 手動觸發整張資料表的補充作業。如果捨棄的事件僅為 UPSERT 事件，則可使用這項功能。如果捨棄的事件包含 DELETE 事件，您必須先截斷 BigQuery 中的資料表，再執行回填作業。

  如要瞭解如何執行補充作業，請參閱「啟動補充作業」。

• 請與 Google 支援團隊聯絡，要求對方執行部分回填。只有在您能使用 SQL WHERE 子句識別捨棄的事件，且沒有任何事件是 DELETE 事件時，才能執行這項操作。
• 如果捨棄的事件數量不多，或捨棄的事件不重要，請忽略這個問題。

如果來源資料庫的增補記錄設定不正確，就可能發生擷取進行中變更資料擷取 (CDC) 資料時發生錯誤。確認補充記錄設定正確無誤。具體來說，請確認從來源串流至目的地的資料庫資料表已開啟補充記錄。系統會自動繼續播放。

記錄檔可能已遭刪除。除非您指定最短輪替週期來保留記錄檔，否則 Oracle 會在記錄檔可刪除時立即清除。在 Oracle 伺服器中，設定記錄檔的保留時間。舉例來說，使用 CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS; 可將記錄檔保留至少 4 天。

如為 RDS 部署項目，請使用 exec rdsadmin.rdsadmin_util.set_configuration('archivelog retention hours',96);

如果來源資料庫的二進位記錄檔設定有誤，持續性 MySQL 資料串流就可能發生這種情況。如要排解這項錯誤，請執行下列操作：

1. 確認 binlog 設定正確無誤。
2. 確認 MySQL 資料庫的二進位記錄檔格式已設為 ROW。
3. 重新啟動串流。

如果來源資料庫不符合版本支援矩陣，就可能發生這種情況。如要排解這項錯誤，請執行下列操作：

1. 請確認來源資料庫符合矩陣規定。
2. 使用更新後的來源資料庫重新建立串流。

提高 Datastream 從來源資料庫讀取資料的能力：

• 縮減來源資料庫的二進位記錄檔 (binlog) 檔案大小上限。縮減大小會增加 binlog 檔案數量。
• 如果有多個 binlog 檔案，請為串流設定適當的並行 CDC 工作數上限。有了多個二進位記錄檔，Datastream 就能同時讀取來源資料庫事件，最多可讀取 maxConcurrentCdcTasks 欄位中設定的數量。

確認邏輯解碼設定正確無誤。請參閱「設定來源 PostgreSQL 資料庫」。

1. 將副本身分變更為 DEFAULT：

   ALTER TABLE TABLE_NAME REPLICA IDENTITY DEFAULT

   將 TABLE_NAME 替換為要變更副本身分的資料表名稱。
2. 從串流的納入物件清單中移除資料表。詳情請參閱「修改來源資料庫的設定資訊」。
3. 從 BigQuery 刪除資料表。詳情請參閱「刪除資料表」。
4. 在 Datastream 中，編輯來源設定，再次將資料表新增至串流。

資料庫必須啟用變更資料擷取 (CDC)。Datastream 需要直接讀取交易記錄，才能複製來源資料庫的即時變更，並取得完整的記錄資訊。請為資料庫啟用 CDC，然後再試一次。

如要瞭解如何為資料庫啟用 CDC，請參閱「設定來源 SQL Server 資料庫」。

串流中包含的所有資料表都必須啟用變更資料擷取 (CDC)。Datastream 需要直接讀取交易記錄，才能將來源資料表的即時變更內容複製到目的地，並取得完整的記錄資訊。為串流中包含的資料表啟用 CDC，然後再試一次。

如要瞭解如何為來源資料表啟用 CDC，請參閱「設定來源 SQL Server 資料庫」。

如果來源資料庫中不再有交易記錄，就可能發生這個問題。使用交易記錄 CDC 方法從 SQL Server 來源複製資料時，記錄可能會在 Datastream 讀取前遭到截斷。發生這種情況時，Datastream 無法穩定地將來源資料庫複製到目的地。

如要解決這個問題，請復原資料串流，或考慮改用變更資料擷取 (CDC) 方法。 如要進一步瞭解這兩種方法的差異，請參閱「SQL Server 做為來源的總覽」。

您設定用來驗證 Salesforce 組織與 Datastream 之間連線的連結應用程式或外部用戶端應用程式使用者，沒有足夠的權限來存取要複製的資料。請確認您已正確設定 Salesforce 來源。詳情請參閱「設定 Salesforce 來源」。

Performance、Unlimited、Enterprise 和 Developer 版本預設會啟用 Bulk API 2.0。這則錯誤訊息表示您使用的版本已停用 API，或是您使用的憑證沒有足夠的權限。確認您使用的使用者設定檔已獲授 API Enabled 權限。

您已超過 Salesforce API 查詢上限。當您達到 API 配額上限的 90% 時，就會看到這則訊息。在這種情況下，Datastream 稍後會重試這項作業。建議您考慮提高 Salesforce API 配額。

查詢已刪除的記錄時，Salesforce 會將回應限制為 600,000 個記錄 ID。Salesforce 的最低查詢精細度為一分鐘，如果在一分鐘內刪除超過 600,000 筆記錄，Salesforce 會傳回這項錯誤。

Datastream 無法透過 Salesforce 驗證。您可能使用了錯誤的憑證或網域名稱。

為資料串流選取「僅附加」寫入模式時，資料會以 INSERT、UPDATE-INSERT、UPDATE-DELETE 和 DELETE 事件串流的形式附加至 BigQuery，不會經過任何整併。當您執行回填作業，或發生問題導致 BigQuery 寫入器重試寫入作業時，可能會導致重複的資料列寫入 BigQuery。為解決這個問題，建議您定期執行類似下列的重複資料刪除查詢：

確認來源資料表中有主鍵。BigQuery 需要這項資訊，才能將變更合併至目的地資料表。

如果沒有主鍵，請考慮在來源或目的地資料表中新增主鍵。如要在目的地 BigQuery 資料表中新增主鍵，請按照下列步驟操作：

1. 暫停串流。
2. 在 BigQuery 中截斷資料表。
3. 在資料表定義中新增主鍵。
4. 繼續串流。
5. 觸發資料表的補充作業。

根據預設，Datastream 不支援將主鍵新增至已複製到 BigQuery 的資料表 (沒有主鍵)，也不支援從已複製到 BigQuery 的資料表 (有主鍵) 移除主鍵。不過，您可以變更已複製到 BigQuery 的來源資料表主鍵定義：

1. 檢查串流的總延遲時間指標，並等待至少與目前延遲時間一樣長的時間，確保所有傳輸中的事件都已寫入目的地。這樣一來，所有具有原始主鍵的事件都能順利串流。
2. 暫停串流。
3. 複製 BigQuery 中資料表的 CREATE TABLE 資料定義語言 (DDL) 指令：

       SELECT ddl FROM PROJECT_ID.DATASET.INFORMATION_SCHEMA.TABLES
         WHERE table_name='TABLE_NAME';

   更改下列內容：

   • PROJECT_ID： Google Cloud 專案的 ID。
   • DATASET_ID：BigQuery 中資料集的 ID。
   • TABLE_NAME：要複製 DDL 指令的表格名稱。
4. 在 BigQuery 中捨棄資料表。
5. 使用新的主鍵調整 CREATE TABLE DDL 指令。包含分區和叢集鍵，以及 max_staleness OPTION：

       CREATE TABLE `[PROJECT_ID].[DATASET_ID].[TABLE_NAME]`
       (
         product_id INT64 NOT NULL,
         product_name STRING,
         datastream_metadata STRUCT,
         PRIMARY KEY (product_id) NOT ENFORCED
       )
       CLUSTER BY dept_no
       OPTIONS(
         max_staleness=INTERVAL '0-0 0 0:MINS:0' YEAR TO SECOND
       );
       ;
       

   更改下列內容：

   • PROJECT_ID： Google Cloud 專案的 ID。
   • DATASET_ID：BigQuery 中資料集的 ID。
   • TABLE_NAME：您複製 DDL 指令的資料表名稱。
   • MINS：要為 max_staleness 選項設定的分鐘數，例如 15。
6. 執行調整後的查詢，在 BigQuery 中重新建立資料表。
7. 繼續串流。
8. 啟動表格的補充作業。