配置MirrorMaker 2 连接器

最新推荐文章于 2025-07-20 12:50:00 发布
最新推荐文章于 2025-07-20 12:50:00 发布
阅读量4.9k 收藏 14
点赞数 13
CC 4.0 BY-SA版权
分类专栏： kafka 文章标签： kafka kafka-mirror
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37899908/article/details/143267078

配置MirrorMaker 2 连接器

一、MirrorMaker 2 连接器配置属性

属性说明默认值
admin.timeout.ms管理任务的超时，如检测新主题默认值为 60000 (1 分钟)
replication.policy.class定义远程主题命名约定的策略默认为 org.apache.kafka.connect.mirror.DefaultReplicationPolicy
replication.policy.separator在目标集群中用于主题命名的分隔符。默认情况下，分隔符设置为点(.)分隔符配置仅适用于 DefaultReplicationPolicy 复制策略类，用于定义远程主题名称。IdentityReplicationPolicy 类不使用属性，因为主题会保留其原始名称
consumer.poll.timeout.ms轮询源集群时超时默认值为 1000 (1 秒)
offset-syncs.topic.locationoffset-syncs 主题的位置，可以是 源 （默认）或 目标集群源集群
topic.filter.class选择要复制的主题的主题过滤器默认为 org.apache.kafka.connect.mirror.DefaultTopicFilter
config.property.filter.class用于选择要复制的主题配置属性的主题过滤器默认为 org.apache.kafka.connect.mirror.DefaultConfigPropertyFilter
config.properties.exclude不应复制的主题配置属性。支持以逗号分隔的属性名称和正则表达式
offset.lag.max在同步远程分区前，最大允许（不同步）偏移滞后默认值为 100
offset-syncs.topic.replication.factor内部 offset-syncs 主题的复制因素默认值为 3
refresh.topics.enabled启用检查新主题和分区默认为 true
refresh.topics.interval.seconds主题刷新的频率默认为 600 (10 分钟)。默认情况下，检查源集群中的新主题每 10 分钟进行一次。您可以通过在源连接器配置中添加 refresh.topics.interval.seconds 来更改频率
replication.factor新主题的复制因素默认值为 2
sync.topic.acls.enabled启用从源集群同步 ACL默认为 true
sync.topic.acls.interval.secondsACL 同步的频率默认为 600 (10 分钟)
sync.topic.configs.enabled启用从源集群同步主题配置默认为 true
sync.topic.configs.interval.seconds主题配置同步的频率默认 600 (10 分钟)
checkpoints.topic.replication.factor内部 检查点 主题的复制因素默认值为 3
emit.checkpoints.enabled启用将消费者偏移同步到目标集群默认为 true
emit.checkpoints.interval.seconds消费者偏移同步的频率默认值为 60 (1 分钟)
group.filter.class组过滤器，以选择要复制的消费者组默认为 org.apache.kafka.connect.mirror.DefaultGroupFilter
refresh.groups.enabled启用检查新的消费者组默认为 true
refresh.groups.interval.seconds消费者组刷新的频率默认为 600 (10 分钟)
sync.group.offsets.enabled启用将消费者组偏移同步到目标集群 __consumer_offsets 主题默认为 false
sync.group.offsets.interval.seconds消费者组偏移同步的频率默认值为 60 (1 分钟)
emit.heartbeats.enabled在目标集群中启用连接检查默认为 true
emit.heartbeats.interval.seconds连接检查的频率默认为 1 ( 1 秒)
heartbeats.topic.replication.factor内部 心跳 主题的复制因素默认值为 3
kafka 异步双活方案 mirror maker2 深度解析
zzzzMing -大数据/数据分析/数据挖掘
01-12 2731
mirror maker2背景 通常情况下，我们都是使用一套kafka集群处理业务。但有些情况需要使用另一套kafka集群来进行数据同步和备份。在kafka早先版本的时候，kafka针对这种场景就有推出一个叫mirror maker的工具（mirror maker1，以下mm1即代表mirror maker1），用来同步两个kafka集群的数据。 最开始版本的mirror maker本质上就是一个消费者 + 生产者的程序。但它有诸多诸多不足，包括 目标集群的Topic使用默认配置创建，但通常需要手动rep
Kafka跨集群同步工具-MirrorMaker2.0详解
kafka_zsxq的博客
12-17 8366
【背景】 最近发现不少文章提到log4j的远程代码执行漏洞会影响Kafka，在此向大家说明Kafka采用的版本是log4j 1.2.17且不受此事件影响。 【详情】 打开GitHub - apache/kafka: Mirror of Apache Kafka默认主分支，直接查看gradle目录下的dependencies.gradle文件 搜索log4j就可以发现使用的是1.2.17版本而不是受影响版本log4j2.x版本。 特别说明Kafka3.2.0之后社区将会使用log4j.
kafka跨地区跨集群同步工具MirrorMaker2 —— 筑梦之路
筑梦之路
05-25 2322
有四种运行MM2的方法：As a dedicated MirrorMaker cluster.（作为专用的MirrorMaker群集）As a Connector in a distributed Connect cluster.（作为分布式Connect群集中的连接器）As a standalone Connect worker.（作为独立的Connect工作者）
【Kafka】深入理解 Kafka MirrorMaker2 - 实战篇
最新发布
showyoui的博客
07-20 1231
本文记录了作者搭建跨机房Kafka数据同步方案的全过程，重点介绍了MirrorMaker2的部署与配置。首先准备了Kafka 3.8.1和JMX Exporter组件，在三台服务器组成集群保证高可用。随后详细讲解了MirrorMaker2的配置文件，包括集群连接信息、同步规则定义、内部Topic配置和安全设置等关键参数，并特别说明了tasks.max参数的计算依据。最后通过修改启动脚本加载JMX Exporter实现监控功能，为Kafka跨机房同步提供了完整的实践方案。
MirrorMaker2配置后同步数据至目标集群的topic都加上一个源集群别名的前缀A.
初夏0811的博客
10-27 4677
DefaultReplicationPolicy: 默认取值, 这个策略会把同步至目标集群的topic都加上一个源集群别名的前缀，比如源集群别名为A，topic为：bi-log，该topic同步到目标集群后会变成：A.bi-log，目的是为了避免双向同步的场景出现死循环, 官方的解释是为了避免在复杂的镜像拓扑中重写数据。replication.policy.class取值有两个, 分别是 DefaultReplicationPolicy 和 CustomReplicationPolicy。
Kafka 迁移工具 MirrorMaker2 原理起底
gaoliang1719的专栏
04-21 1105
注意：本文内容截止到 2024 年 2 月 26 日发布的 Kafka 3.7.0 版本。MirrorMaker2（后文简称 MM2）在 2019 年 12 月随 Kafka 2.4.0 一起推出。顾名思义，是为了解决 Kafka 集群之间数据复制和数据同步的问题而诞生的 Kafka 官方的数据复制工具。在实际生产中，经常被用来实现 Kafka 数据的备份，迁移和灾备等目的。在此也预告一下，Aut...
Kubernetes Kafka 系列｜MirrorMaker 2 同步数据
weixin_48711696的博客
04-18 1382
MirrorMaker 2（简称MM2）是Apache Kafka的一个工具，主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1（简称MM1），MirrorMaker 2在设计和功能上有了显著的提升，能够更好地适应生产环境的需求。首先，MM2采用了并行复制的方式，能够实现高吞吐量的数据复制和同步，使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。其次，MM2在数据同步方面具有很高的灵活性。
KIP-382: MirrorMaker 2.0(中英文对照)
dxy1999的专栏
06-08 3008
Status（状态） Motivation（动机） Public Interfaces（公共接口） Proposed Changes（改变） Remote Topics, Partitions（远程主题，分区） Aggregation（聚合） Cycle detection（循环检测） Config, ACL Sync（配置，ACL同步） Internal Topics（内部主题） Remote Cluster Utils（远程群集实用程序） MirrorClient（Mi.
Kafka镜像复制KIP-382：MirrorMaker 2.0
Tu_maimes
12-17 551
kafka镜像复制 KIP-382：MirrorMaker 2.0
docker-kafka-mirrormaker:运行 Kafka 的 MirrorMaker 的 Docker 容器
05-31
Docker Kafka MirrorMaker 运行 Kafka 的 MirrorMaker 的 Docker 容器。 卡夫卡版本：0.8.2.1 用法 ： 设置镜像很容易 - 只需在启动目标集群后启动镜像制作程序。 镜像制造商至少需要一个或多个消费者配置、一个生产者配置以及白名单或黑名单。 您需要将消费者指向源集群的 ZooKeeper，生产者指向镜像集群的 ZooKeeper（或使用 broker.list 参数）。 容器需要传入以下环境变量： CONSUMER_ZK_CONNECT - 源的 Zookeeper 连接字符串，包括端口和 chroot。 DOWNSTREAM_BROKERS - 接收镜像消息的DOWNSTREAM_BROKERS WHITE_LIST -（可选）主题白名单，如果使用，不要使用黑名单 BLACK_LIST -（可选）主题黑名单，如果使用，不
Kafka Replication: The case for MirrorMaker 2.0
weixin_30685047的博客
08-01 576
Apache Kafka has become an essential component of enterprise data pipelines and is used for tracking clickstream event data, collecting logs, gathering metrics, and being the enterprise data bus...
Kafka 社区KIP-382中文译文（MirrorMaker2/集群复制/高可用/灾难恢复）
sjzsylkn的专栏
01-23 1370
译者：对于Kafka高可用的课题，我想每个公司都有自己的方案及思考，这是一个仁者见仁智者见智的命题，而社区给出了一个较大的特性，即MirrorMaker 2.0，不论是准备做高可用还是单纯的数据备份，都不能绕过这个重大特性。而关于MirrorMaker 2.0的文章，网络上真是多如牛毛，质量也是参差不齐，而能够将这个特性完整描述出来的，非社区的此篇设计稿莫属，也因此有了翻译此文的初衷。ps: 有任何kafka问题欢迎评论、私信交流。本人VX： likangning9。
kafka中MirrorMaker1和MirrorMaker2的区别
初夏0811的博客
10-26 5788
kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2(MM2)。MM2修复了MM1所存在的局限性。MM2是基于kafka connect框架开发的。与其它的kafka connecet一样MM2有source connector和sink connetor组成，不熟悉kafka connect概念的同学可以这样认为，source connector就是MM1中的消费者，它负责读取远端数据中心的数据。
Kafka使用MirrorMaker同步数据的两种方式
Daphnis的博客
12-22 4298
CDH对 Kafka MirrorMaker的支持度不错，稳定性也能经得起时间的检验。另外，这种备份方式属于实时备份，很适合对数据完整性和及时性要求较高的项目，能最大程度地确保通过 kafka流转的数据的及时可用。还有一个好处是，当 kafka集群1因为某种原因无法工作时，可以迅速切换到集群2，且两个集群的数据几乎一致。
Kafka——MirrorMaker详解
吴声子夜歌的博客
08-17 3790
对于Kafka企业级用户而言，一个常见的痛点就是跨机房或跨数据中心(data center,DC)的数据传输。大型企业通常在多个数据中心部署Kafka集群。.这里的数据中心可能是企业拥有的自建机房，也可能是公有云厂商的不同机房。在多个机房部署Kafk集群的优势如下。实现灾备。较近的地理位置可缩短延时以及用户响应时间。实现负载均衡，即每个数据中心上的集群可能只保存部分数据集合。区别隔离不同优先级的数据处理。
35 | 跨集群备份解决方案MirrorMaker
吉衣の秋先生的博客
06-14 1873
跨集群备份解决方案MirrorMaker
Kafka mirroring (MirrorMaker) 和 uReplicator 快速开始
西京刀客
09-05 5772
文章目录一、问题背景二、MirrorMaker认识Kafka MirrorMaker基本特性三、uReplicatoruReplicator 概述Impact on Overall Stability （对整体稳定性的影响）uReplicator ControlleruReplicator WorkerSimpleConsumer in uReplicator WorkerTopic Partit...
kafka mirrormaker2
09-22
Kafka MirrorMaker2支持双向复制和单向复制，可以配置为多对多的拓扑结构，实现复杂的消息流转。它可以在消息复制过程中进行消息的转换、过滤和重写，以满足不同业务需求。同时，可以通过配置参数来控制消息的生产和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

初夏0811

你的鼓励将是我创作最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值