SpringBoot 实战：SpringBoot整合Flink CDC，实时追踪mysql数据变动

最新推荐文章于 2025-02-21 17:36:18 发布

原创

最新推荐文章于 2025-02-21 17:36:18 发布 · 1.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #flink #mysql

引言

Flink CDC（Flink Change Data Capture）即 Flink 的变更数据捕获技术，是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。借助Flink CDC，用户可以轻松地构建实时数据管道，实时响应和处理数据变动，为实时分析、实时报表和实时决策等场景提供有力支持。

一、MySQL开启Binlog

MySQL开启 BinLong 功能，需要在配置文件中修改 [mysql]的相关参数（lunux 中 /etc/my.cnf 文件或windows 的 /my.ini 文件）

[mysqld]
server-id=1
# 设置日志格式为行级格式
binlog-format=Row
# 设置binlog日志文件的前缀
log-bin=mysql-bin
# 指定需要记录二进制日志的数据库
binlog_do_db=testjpa

开启Binlog 后，在需要为 Flink CDC 配置响应的权限，使其能够正常链接到 MySQL数据库，包括授权 Flink CDC 链接数据库的用户权限。

mysql> SHOW VARIABLES LIKE 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+

二、代码示例

创建Spring Boot项目添加依赖

<dependencies>
    <!-- Flink dependency -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>1.14.0</version>
&nb