kafka_2.11-2.2.0安装与配置

CleverCode

已于 2025-01-12 20:20:12 修改

阅读量574

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux常用软件安装与配置文章标签： kafka java 分布式

于 2023-01-06 20:57:01 首次发布

本文链接：https://blog.csdn.net/CleverCode/article/details/128584773

Linux常用软件安装与配置专栏收录该内容

50 篇文章

订阅专栏

该文详细介绍了如何下载并启动Kafka2.2.0及Zookeeper，包括启动和停止命令，以及创建和管理topics，进行消息生产和消费的测试步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、下载kafka_2.11-2.2.0

wget https://archive.apache.org/dist/kafka/2.2.0/kafka_2.11-2.2.0.tgz
cp kafka_2.11-2.2.0.tgz /data/apps/
cd /data/apps/
tar -zxvf kafka_2.11-2.2.0.tgz
rm -f kafka_2.11-2.2.0.tgz

2、zk操作

切换到root的java环境

su -

1、启动zookeeper

nohup /data/apps/kafka_2.11-2.2.0/bin/zookeeper-server-start.sh /data/apps/kafka_2.11-2.2.0/config/zookeeper.properties > /data/apps/kafka_2.11-2.2.0/zk.log 2>&1 &

2、停止zookeeper

/data/apps/kafka_2.11-2.2.0/bin/zookeeper-server-stop.sh

3 kafka操作

1、启动

nohup /data/apps/kafka_2.11-2.2.0/bin/kafka-server-start.sh /data/apps/kafka_2.11-2.2.0/config/server.properties > /data/apps/kafka_2.11-2.2.0/kafka.log 2>&1 &

2、停止

/data/apps/kafka_2.11-2.2.0/bin/kafka-server-stop.sh

4 测试

# cd /data/apps/kafka_2.11-2.2.0

# 创建topic
$ sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

# 查看topic
$ sh bin/kafka-topics.sh --list --zookeeper localhost:2181

# 发送消息
$ sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

# 消费消息
$ sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

5 修改内存大小

1.修改bin目录下的 zookeeper-server-start.sh，将初始堆的大小(-Xms)设置小一些

 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

修改bin目录下的kafka-server-start.sh文件，将初始堆的大小(-Xms)设置小一些

 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

在config目录下的server.properties中增加


  log.cleaner.dedupe.buffer.size= prefered buffer size in byte

这一个是Kafka初始化LogManager时候用到的buffer size