Kafka 集群搭建

最新推荐文章于 2025-06-16 12:06:01 发布

半吊子Kyle

最新推荐文章于 2025-06-16 12:06:01 发布

阅读量3.2k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/hell_oword/article/details/119454915

本文详细介绍了如何在Centos7环境下搭建Apache Kafka 2.12-2.4.1集群，包括环境准备、配置Zookeeper、安装Kafka、修改配置文件、设置环境变量、启动集群及进行各种集群操作。此外，还进行了Kafka的基准测试，通过对比不同副本和分区设置下的生产者和消费者性能，展示了副本和分区对吞吐量和消费速度的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka 集群搭建

安装前准备

环境准备

云服务器 3 台(Centos 7)

安装包下载

Apache Kafka 2.12-2.4.1

# 版本号说明
scala 版本号 - kafka 版本号，即 scala 的版本号为 2.12 ,kafka 的版本号为 2.4.1

服务器域名映射

# 3 台服务器都执行
# 1. 编辑 hosts 文件
vim /etc/hosts

# 2. 增加以下内容
172.17.0.8 node1
172.17.20.14 node2
172.17.30.12 node3

zookeeper 环境准备

zookeeper 集群搭建

在 3 台服务器上搭建好 zookeeper 集群并启动

集群搭建

上传安装包并解压

# 3 台服务器都操作
cd /opt/server/

tar -xvzf kafka_2.12-2.4.1.tgz -C /opt/server/

修改配置文件

# 3 台服务器都操作
cd /opt/server/kafka_2.12-2.4.1/config

# 1.编辑 
vim server.properties

# 2.增加以下内容

  # 指定 broker 的 id,注意：第 2 台 和 第 3  台服务器的值分别为 2 和 3 (仅此处不同)
  broker.id=1
  # 指定Kafka数据的位置
  log.dirs=/opt/server/kafka_2.12-2.4.1/data
  # 配置zk的三个节点
  zookeeper.connect=node1:2181,node2:2181,node