kafka常见问题及解决方案

本文探讨了Kafka消费者在启动后无法消费数据的问题,通过对比日志发现原因是消费者群组分配时未能识别主机名,导致服务端和客户端通信失败。解决办法是在/etc/hosts中添加主机名和IP的映射。

1.启动日志没有报错,消费者无法消费数据

最近使用kafka消费者过程中发现,日志没有报错但是无法消费数据,版本0.10.2.0,日志具体情况如下:

当日志打到红线区域时就停止不动了,此时向topic发送数据并没有被消费,猜测是哪里卡住了,之后使用了一个可以正常消费kafka数据的程序,查看日志进行对比,正常日志如下:

启动kafka消费者后,会打印leader对于消费者群组进行重分配的信息,返回的leader所在机器的信息是主机名加port,由于之前没有在本地配置主机名和ip的映射导致无法识别主机名,服务端不能分配消费者群组,从而导致不服务端和客户端不能相互通信。具体为什么会返回主机名而不是ip地址,可能和服务端配置有关,具体原因和源码分析还需进一步学习。

解决方案:

将主机名和ip映射添加到/etc/hosts中

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值