Debezium系列之：支持数据库存储系统，把ddl信息存储到数据库表中

已于 2024-10-08 09:00:15 修改
阅读量500 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： debezium 文章标签： Debezium系列 数据库存储系统 ddl信息 存储到数据库表中
于 2023-06-27 23:26:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/131424190
debezium 专栏收录该内容
377 篇文章 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何将数据库DDL事件从Debezium的内部主题存储到数据库表中，详细阐述了实现过程、核心参数设置、创建存储DDL的表、提交Connector以及数据验证等步骤，强调了这种方式对维护和可靠性的提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Debezium系列之：支持数据库存储系统，把ddl信息存储到数据库表中

一、需求背景

  • 目前debezium把数据库ddl事件存储在schema.history.internal.kafka.topic参数对应的Topic中，现在想支持数据库存储系统，把采集数据库的ddl信息，存储到指定数据库的表中

二、实现的效果

实现的效果如图所示：
在这里插入图片描述

  • 成功把ddl信息存储到了数据库表中

查询数据：

select * from dw.debezium_database_history
0bba330d-ace7-4250
了解本专栏 订阅专栏 解锁全文
四、Debezium测试 DDL篇
al229的博客
07-05 886
打开postman或者其他远程http测试工具调用注册地址：kafka-connect默认端口8083，这里的地址是kafka-connect服务启动所在的地址http://127.0.0.1:8083/connectors 参数： "database.server.name" ：这里的命名会在kafka中生成对应的topic，该topic里面存储的是ddl解析结果， 重新注册时，该topic需要变更名称或在kafka删除原有的topicname：连接器的名称，删除的时候会用到"schema.incl
Debezium系列之：从CREATE、ALTER、DROP、TRUNCATE、DATABASE这些DDL事件中过滤掉特定类型DDL事件，控制向消费应用程序公开的DDL操作
zhengzaifeidelushang的博客
09-26 388
Debezium系列之：从CREATE、ALTER、DROP、TRUNCATE、DATABASE这些DDL事件中过滤掉特定类型DDL事件，控制向消费应用程序公开的DDL操作
MySQL8.0之DDL语句（详细全面）
关于自己学习笔记哟
08-12 1663
字符集、整数类型、索引、日期格式
MySQL数据库语言一、DDL
s1429583654的博客
06-13 1626
MySQL语言DDL
debezium mysql connector DDL 解析
laomei
06-12 2968
debezium实现了一个mysql ddl语法解析器，用来解析ddl语句。debezium在最近会对解析器进行优化，更换mysql语法解析器。为什么debezium mysql connector需要ddl parser? 为什么需要DdlParser debeizum mysql connector有2个reader，分别用于snapshot和增量订阅。它们内部都用到了ddl pars...
Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
zhengzaifeidelushang的博客
12-07 1509
Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
Debezium系列之：使用Debezium采集oceanbase数据库
zhengzaifeidelushang的博客
12-13 505
Debezium系列之：使用Debezium采集oceanbase数据库
Debezium系列之：基于debezium采集数据到kafka，再从kafka将数据流式传输到下游数据库
zhengzaifeidelushang的博客
02-20 1174
Debezium系列之：基于debezium采集数据到kafka，再从kafka将数据流式传输到下游数据库
Flink系列之：Debezium采集Mysql数据库表数据到Kafka Topic，同步kafka topic数据到StarRocks数据库
zhengzaifeidelushang的博客
01-29 1375
Flink系列之：Debezium采集Mysql数据库表数据到Kafka Topic，同步kafka topic数据到StarRocks数据库
Debezium报错处理系列九：“ddl“ : “# Dummy event replacing event type 160 that slave cannot handle.“
zhengzaifeidelushang的博客
02-08 1541
debezium系列之："ddl" : "# Dummy event replacing event type 160 that slave cannot handle."一、debezium报错二、报错产生原因三、报错解决方法四、具体处理步骤 一、debezium报错 database.history.kafka.topic的数据量过大，查看history kafka topic，发现包含大量数据：“ddl” : “# Dummy event replacing event type 160 that
debezium：更改各种数据库的数据捕获。 请在https：issues.redhat.combrowseDBZ上记录问题
02-04
版权Debezium作者。 根据。 debezium-ddl-parser模块中的Antlr语法是根据。 英文| 德比兹 Debezium是一个开源项目，为更改数据捕获（CDC）提供了低延迟的数据流平台。 您设置并配置Debezium来监视数据库，然后您的应用程序会使用对数据库进行的每个行级更改的事件。 仅显示已提交的更改，因此您的应用程序不必担心事务或回滚的更改。 Debezium提供了所有变更事件的单一模型，因此您的应用程序不必担心每种数据库管理系统的复杂性。 此外，由于Debezium在持久的复制日志中记录了数据更改的历史记录，因此您的应用程序可以随时停止和重新启动，并且能够使用未运行
Debezium系列之：手动创建存放ddl database.history.kafka.topic对应的topic
zhengzaifeidelushang的博客
04-22 1753
debezium系列之：手动创建存放ddl database.history.kafka.topic对应的topic一、理解database.history.kafka.topic二、创建debezium history topic三、kafka客户端代码 一、理解database.history.kafka.topic database.history.kafka.topic存放ddl表结构变化数据 database.history.kafka.topic不能分区，为了使数据库历史主题正确运行，必须保持
Debezium 如何处理 DDL
laomei
02-27 3368
Mysql的数据变更(ddl, dml)在debezium都对应一个事件，不同的事件Debezium内部会有不同的处理逻辑。 Debezium在内存里会维护订阅的所有表的schema信息。当有DDL事件发生时，Debezium会获取到DDL的语句，将DDL作用于内存的表，那么内存中维护的表结构就能和数据库中的表结构一致。 当某个表的数据被更新时，假设是insert，Debezium捕获到变更，随后...
Debezium报错处理系列: DDL语句无法解析
KapGroovy的博客
09-17 639
在本文中，我们将探讨如何处理这种DDL语句无法解析的问题，并提供相应的源代码示例。根据具体的情况，您可以选择适合您的应用程序的方法来处理DDL语句解析问题。Debezium提供了一个DDL过滤器，可以用于过滤掉不需要的DDL语句或对DDL语句进行转换。Debezium对DDL语句有一定的语法要求，因此需要确保DDL语句符合正确的语法规范。首先，我们需要仔细检查DDL语句的语法和结构，确保没有语法错误或不符合规范的部分。这样，当Debezium遇到无法解析的DDL语句时，将不会抛出错误，而是忽略该语句。
Debezium发布历史02
大蚊子
12-17 925
debezium DDL解析
Debezium同步之如何捕获同步DDL数据变化
最新发布
Auspicious航的博客
02-17 247
Debezium 本身主要用于同步数据变更（CDC），不直接支持同步 DDL 操作。如果需要同步 DDL 操作，通常需要使用额外的工具或数据库功能，如审计日志、触发器或其他变通方法。结合使用 Debezium 和其他工具，可以实现对数据和表结构变更的全面同步。
基于debezium实时数据同步（Oracle为主）
吃素的哈士奇de博客
09-03 4784
基于debezium实时数据同步全部需要下载的内容链接1、下载zookeeper-3.4.102、下载kafka_2.13-2.8.03、下载Kafka Connector：建议使用1.6以上版本可以对ddl进行捕获4、安装debezium-connector-oracle4.1下载debezium-connector-oracle-1.6.0.Final-plugin.tar.gz并解压，安装在自己的服务器，我的安装目录是/home/debezium/4.2、将debezium-connector-ora
debezium pg oracle,awesome-mirror
weixin_30232185的博客
04-07 248
Copyright Debezium Authors.Licensed under the Apache License, Version 2.0.The Antlr grammars within the debezium-ddl-parser module are licensed under the MIT License.Debezium 简介Debezium是一个开源项目，为捕获数据更改...
debezium怎么监听神通数据库
02-15
上述JSON片段展示了如何通过`JdbcSourceConnector`类建立通往神通数据库的安全通道，并指定了必要的认证信息、目标表范围以及其他辅助选项用于追踪DDL/DML操作历史记录。 #### 启用神通数据库的日志功能 由于神通...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值