Kafka的日志同步

本文详细介绍了Kafka的日志同步过程,包括LEO(LogEndOffset)和HW(HighWatermark)的概念及其变化。在Kafka中,LEO表示副本下次日志记录的偏移量,HW是所有ISR副本集合中的LEO最小值。同步过程涉及生产者向Leader副本发送消息,随后Follower副本请求同步数据,通过比较HW和LEO确定副本状态和数据可见性。ISR(In-Sync Replicas)是与Leader保持同步的副本集合,若副本滞后过多会被踢出。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先介绍下LEO和HW

LEO: 即LogEndOffset,表示该副本下次日志记录的偏移量

HW:即HighWatermark,高水位线,是所有ISR副本集合中的LEO最小值

上图中,如果此时三个副本都在ISR集合中,那么此时他们的LEO,分别为9,7,6 ,而HW则为6,只有在HW之前的消息才是消费者可见的

Kafka消息的整个追加过程可以概括如下

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值