1.启动日志没有报错,消费者无法消费数据
最近使用kafka消费者过程中发现,日志没有报错但是无法消费数据,版本0.10.2.0,日志具体情况如下:
当日志打到红线区域时就停止不动了,此时向topic发送数据并没有被消费,猜测是哪里卡住了,之后使用了一个可以正常消费kafka数据的程序,查看日志进行对比,正常日志如下:
启动kafka消费者后,会打印leader对于消费者群组进行重分配的信息,返回的leader所在机器的信息是主机名加port,由于之前没有在本地配置主机名和ip的映射导致无法识别主机名,服务端不能分配消费者群组,从而导致不服务端和客户端不能相互通信。具体为什么会返回主机名而不是ip地址,可能和服务端配置有关,具体原因和源码分析还需进一步学习。
解决方案:
将主机名和ip映射添加到/etc/hosts中