Kafka 3.2.3 升级到 3.9.1（容器化部署）

从 Kafka 3.2.3 升级到 3.9.1（容器化部署），你的问题可以拆成两个关键点：

✅ 1. 是否可以直接替换镜像？

理论上可以，但必须满足前置条件和操作流程：

✅ 替换镜像的前提：

• 你使用的是 KRaft 模式（非 ZooKeeper）

  • 如果是 ZooKeeper 模式，也可以升级，但 Kafka 3.9.1 是“ZooKeeper 支持的最后一个长期版本”，建议迁移到 KRaft。

• 无修改 broker 日志格式（log.message.format.version）

  • 如果你明确设置了旧格式（如 2.8、2.4），则升级后要一并调整。

• 数据目录（log.dirs）和挂载持久卷未变更

  • Kafka 数据保存在 /var/lib/kafka/data（默认），升级后数据会保留，只要你没有换挂载或清除 volume。

✅ 推荐做法：

# 替换 Kafka 镜像版本
image: confluentinc/cp-kafka:3.9.1

但强烈建议滚动升级，尤其是在生产环境中，每次只升级一个 broker，确保：

• broker 加入集群成功
• 数据不丢、消费者无影响
• 所有副本同步完成

✅ 2. 数据是否能保留？

是的，Kafka 的数据默认保存在 log.dirs 指定的目录下，升级只要不清数据卷，数据会保留，不会因镜像版本变化而丢失。

不过要注意：

🔄 Kafka 升级建议流程（容器化）

1. 确认当前配置

   • KAFKA_LOG_DIRS、KAFKA_BROKER_ID、KAFKA_ZOOKEEPER_CONNECT or KAFKA_PROCESS_ROLES
   • 是否有自定义 log.message.format.version

2. 滚动升级每个 Broker

   • kubectl rollout restart 或 docker-compose pull + up -d
   • 升级 broker → 检查状态 → 再升级下一个

3. 观察 Kafka 状态

   • kafka-topics.sh、kafka-consumer-groups.sh 检查延迟
   • Grafana / Prometheus 等监控集群同步状态

4. 升级客户端（可选）

   • Kafka 客户端向后兼容，但新功能需新版 client 支持。

🚫 警告提示

✅ 总结