Kafka中消费者方式--zookeeper和--bootstrap

炼丹师666

于 2021-08-16 17:04:07 发布

阅读量831

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka

本文链接：https://blog.csdn.net/wj1298250240/article/details/119737271

kafka 专栏收录该内容

4 篇文章

订阅专栏

本文讨论了Kafka消费者在处理故障时如何记录和恢复消费位置，特别是offset的管理。消费者通常需要记录消费的offset以确保故障后能从断点继续。早期版本中，消费者offset存储在Zookeeper，但后续版本改为本地Kafka集群。使用--bootstrap选项现已成为推荐的offset存储位置选择。同时，文章提到了测试消费者同时使用ZK和bootstrap方式消费的情况，以及Kafka中bootstrap-server、broker-list和zookeeper的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


1）由于consumer在消费过程中可能会出现断点宕机等故障，consumer恢复后，需要从故障前的位置继续消费，所以consumer需要实时记录自己消费到了那个offset，以便故障恢复后继续消费。

2）在之后版本，消费者消费的offset信息会从zookeeper改到到本地Kafka集群。

So
–zookeeper 和 --bootstrap是对消费者offset存储位置的一个选择，目前建议使用–bootstrap。



消费者同时使用ZK和bootstrap方式消费测试：
https://www.oschina.net/question/215898_2309529
Kafka中bootstrap-server、broker-list和zookeeper的区别
https://www.cnblogs.com/tonglin0325/p/8810313.html