Kafka如何保障消息传递的可靠性与一致性

• Kafka 的每个分区都有一个 leader 和多个 follower（副本）。

replication.factor=3       # 建议设置为 >= 2
min.insync.replicas=2      # 写成功必须有几个副本确认
acks=all                   # Producer 要求所有 ISR 都写成功才确认

• Kafka 写入数据后立刻刷入页缓存（写磁盘）。
• log.flush.interval.ms 或 log.flush.interval.messages 可配置手动刷盘策略（一般无需更改，靠 OS 缓存+定期 fsync）。

• acks=0：生产者发送消息后不做任何确认，消息可能会丢失。
• acks=1（默认）：只要 leader 副本收到消息就算成功，但如果此时 leader 副本尚未将消息复制到所有 ISR 集合中的其他副本，消息有可能在 leader 副本故障后丢失。
• acks=-1 或 acks=all：等待所有 ISR 集合中的副本都确认收到消息后，生产者才认为消息发送成功，这可以确保在 Broker 故障时消息不会丢失。

• 启用幂等性后，Kafka 会给每个消息分配一个 sequence number，防止重试造成重复。
• Kafka 确认写成功后 Producer 才提交 offset。

enable.idempotence=true
acks=all
retries=3

• Producer 设置：

enable.idempotence=true
transactional.id=txn-id

• 使用事务 API：

producer.initTransactions();
producer.beginTransaction();

producer.send(record1);
producer.send(record2);

producer.commitTransaction(); // 或 abortTransaction()

• 与消费端配合： 消费者读取消息 → 处理 → 写入下游 → 写 offset → 提交事务（所有步骤原子性）

• Kafka 分区是消息排序的最小单元。
• 同一个分区内的消息是有序的。
• 通过指定 key，可保证同一类型的数据进入相同分区。

producer.send(new ProducerRecord<>(topic, userId, value));

• 消费者处理完消息再提交 offset，可实现“处理成功再认为消费成功”。
• 搭配幂等处理/去重机制，可以做到“至少一次+幂等 = 恰好一次”。

for (ConsumerRecord record : records) {
    // 先处理业务逻辑
    process(record);
}
// 再提交 offset
consumer.commitSync();

# Producer
acks=all
enable.idempotence=true
retries=5
transactional.id=txn-order-001

# Broker
replication.factor=3
min.insync.replicas=2
unclean.leader.election.enable=false

# Consumer
enable.auto.commit=false
isolation.level=read_committed