Flink的实时同步(转载官方文档)

最新推荐文章于 2025-07-25 14:05:02 发布

原创

最新推荐文章于 2025-07-25 14:05:02 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文详细介绍了Flink如何利用binlog进行实时数据采集，结合MySQL主备复制和Canal组件，实现从MySQL到Hive的实时数据同步。binlog插件专注于MySQL数据库的实时采集，而Canal则负责解析binlog并模拟MySQL slave，将数据变化推送到Hive。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink的实时同步(转载官方文档)

根据数据源的数据是否实时变化可以把数据同步分为离线数据同步和实时数据同步，上面介绍的断点续传就是离线数据同步里的功能，实时采集其实就是实时数据同步，当数据源里的数据发生了增删改操作，同步任务监听到这些变化，将变化的数据实时同步到目标数据源。除了数据实时变化外，实时采集和离线数据同步的另一个区别是：实时采集任务是不会停止的，任务会一直监听数据源是否有变化。