深入理解分布式技术 - 构建高可用的消息队列

概述

一般来说，分布式系统的高可用依赖副本技术，副本的引入，使得分布式系统可以更好地进行扩展，当出现某个节点宕机时，由于副本的存在，也能够快速地进行替换，提升系统整体可靠性，防止数据丢失。

可以根据对分布式系统的了解，围绕副本、集群、一致性等展开讨论。消息队列在系统中承担了数据存储和数据传输的两种功能，所以消息队列的高可用设计，也比数据库、文件索引等持久性存储要复杂。

我们今天围绕Kafka开看下它是如何实现高可用的

Kafka 的副本机制

核心： Kafka 的高可用实现主要依赖副本机制

Broker 和 Partition 的关系

在分析副本机制之前，先来看一下 Broker 和 Partition 之间的关系。Broker 在英文中是代理、经纪人的意思，对应到 Kafka 集群中，是一个 Kafka 服务器节点，Kafka 集群由多个 Broker 组成，也就是对应多个 Kaf