qq_29434541的博客

Kafka中的每个Topic被划分为多个Partition，每个Partition有多个副本（Replicas），其中一个副本被选举为Leader，其余为Follower。Leader负责处理所有客户端的读写请求，Follower负责同步Leader的数据。当某个Broker或Partition发生故障时，Kafka需要迅速恢复Partition的可用性，确保数据的一致性和系统的高可用性。

本章节系统梳理了Kafka在Zookeeper中存储的元数据及其相关机制，包括Broker信息、Controller选举、Leader Partition选举与自动平衡、Partition故障恢复以及HW一致性保障等。通过这些机制，Kafka能够在复杂多变的运行环境中，保持数据的一致性和系统的高可用性。核心要点：Zookeeper的作用：作为集群的协调者，存储关键的元数据，确保集群中各个Broker的一致性和协调性。Controller的职责：集中管理集群的状态，处理分区和副本的分配与管理。

和适用于大多数常规应用，简单易用，与 Spring 生态系统无缝集成。Spring Cloud Stream 与 Kafka Binder适用于微服务架构，需处理复杂消息路由与多中间件支持的场景。适用于需要响应式编程模型、高并发和非阻塞消息处理的应用。手动配置 Producer 和 Consumer Bean适用于需要高度自定义 Kafka 配置和行为的应用。适用于复杂集成场景，需要与其他消息渠道和系统协作的应用。嵌入式 Kafka 在测试中使用。

属性配置（序列化、分区器、拦截器、幂等性/事务等） → 将消息提交到→Sender线程批量发送到 Broker → 按acks等待 Broker 响应 → 提交或重试。属性配置（反序列化、消费组、分区分配策略等） →poll()拉取消息 → 业务处理 → 提交 offset（手动或自动），与 Broker 同步消费进度。重点：消息在 Producer 端的缓存发送机制与消息在 Consumer 端的主动拉取、分组消费、offset 提交是理解 Kafka 高并发、高吞吐、高可用的关键。其他如。

消息队列（Message Queue，简称 MQ）是一种用于跨进程通信的技术，核心功能是通过异步消息的方式实现系统之间的解耦。Topic是逻辑概念，Producer 和 Consumer 通过 Topic 进行消息传递。Partition是实际存储单元，保证数据分散存储和负载均衡。Broker是 Kafka 的服务器实例，存储 Partition 数据并处理客户端请求。Zookeeper管理 Kafka 集群的元数据和选举过程。Controller。