《Kafka系列》Kafka常见问题处理记录

Kafka常见问题处理记录

一、kafka创建topic失败， Replication factor: 1 larger than available brokers: 0

1.创建语句如下所示，按照习惯在添加zookeeper参数的时候，指定了zxy:2181/kafka，但是却创建失败，Error while executing topic command : Replication factor: 1 larger than available brokers: 0.

[root@zxy bin]# kafka-topics.sh --create --topic tp1 --zookeeper zxy:2181/kafka --partitions 3 --replication-factor 1
Error while executing topic command : Replication factor: 1 larger than available brokers: 0.
[2023-03-27 17:15:46,605] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.
 (kafka.admin.TopicCommand$)

2.检查各个broker的server.properties文件

发现在配置参数的时候，zookeeper.connect指定的是zxy:2181,zxy:2182,zxy:2183

[root@zxy config]# cat server01.properties
broker.id=1
port=9091
listeners=PLAINTEXT://localhost:9091
log.dirs=/zxy/apps/kafkaCluster/kafkaLog01
zookeeper.connect=zxy:2181,zxy:2182,zxy:2183

3.指定zookeeper参数为zxy:2181，创建成功

[root@zxy bin]# kafka-topics.sh --create --topic tp1 --zookeeper zxy:2181 --partitions 3 --replication-factor 1
Created topic "tp1".

二、服务器Cannot allocate memory

问题：在使用服务器中遇到内存无法分配到问题导致启动不了Kafka
思路一：根据查找方法，最后将vm.overcommit_memory设为1，但是对我这个问题没有太大帮助

管理员下三种方案
1.编辑/etc/sysctl.conf ，改vm.overcommit_memory=1，然后sysctl -p使配置文件生效
2.sysctl vm.overcommit_memory=1
3.echo 1 > /proc/sys/vm/overcommit_memory，然后sysctl –p永久生效

思路二：然后通过修改为kafka分配的内存，还是没有解决问题

if [