Debezium Oracle Connector SCN处理优化指南
📌 问题场景
SCN跳跃场景：
- 起始SCN：15,000（含数据变更）
- 结束SCN：1,000,000（无中间数据）
- 默认批次大小：10,000 → 需执行985次无效查询
🚀 优化方案
1. 自适应批次调整
代码位置：LogMinerStreamingChangeEventSource.java (215-230行)
if (consecutiveEmptyBatches > EMPTY_BATCH_THRESHOLD) {
int newBatchSize = Math.min(currentBatchSize * 2, config.getMaxBatchSize());
config.setBatchSize(newBatchSize);
LOGGER.info("动态调整批次至 {}", newBatchSize);
}
配置参数：
log.mining.empty.scan.threshold=3 # 空批次触发阈值
log.mining.max.batch.size=1000000 # 最大批次大小
2. 空批次快速检测
优化查询：
SELECT /*+ FIRST_ROWS(1) */ 1
FROM V$LOGMNR_CONTENTS
WHERE SCN > :startScn
AND SCN <= :endScn
AND OPERATION_CODE IN (1,2,3,5) -- 过滤有效操作类型
AND ROWNUM = 1
执行计划对比：
| 优化项 | 逻辑读次数 | 执行时间 |
|---|---|---|
| 原始查询 | 9,500 | 8.5s |
| 添加操作过滤 | 1,200 | 1.2s |
最低0.47元/天 解锁文章
扫一扫
726
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
