Debezium Oracle Connector 核心流程分析

Debezium Oracle Connector 核心流程分析

1. 整体架构

2. 启动流程

2.1 连接器初始化

2.2 任务分配

1. TaskContext初始化

   • 加载配置信息
   • 创建数据库连接
   • 初始化事件分发器

2. 资源分配

   • 创建快照任务
   • 创建流式任务
   • 分配线程池资源

3. 快照阶段

3.1 快照准备

3.2 快照执行流程

1. Schema加载

   // 使用JdbcConnection读取表结构
   connection.readSchema(tables, 
                        catalog, 
                        schema, 
                        tableFilter, 
                        columnFilter, 
                        false);
   

2. 分块处理

   • 计算表大小
   • 确定分块策略
   • 并行处理分块

3. 数据捕获

   • 读取表数据
   • 创建快照事件
   • 发送到Kafka

4. 流式处理阶段

4.1 LogMiner配置