背景:
我给kafka准备了6块盘,但是每次都是其中两块磁盘满了,导致kafka挂掉,本着一劳永逸的原则,今天一定要查到原因在哪里?
我得kafka配置,我有3个主机broker01,broker02,broker03,存储配置如下:
log.dirs=/chunk04/kafka/logs,/chunk05/kafka/logs,/chunk06/kafka/logs,/chunk07/kafka/logs,/chunk08/kafka/logs,/chunk09/kafka/logs
以上这些配置都是没问题,因为官方文档给我也是这样,多个磁盘就用“,”隔开就行了。那问题在哪呢?
于是我先排查每一块磁盘里都存储了哪些topic信息,这个就不截图了,总结下发现的问题:
1、3个节点的集群,每个topic创建的时候是3副本,也就是说“一式三份”,每个节点上都应该有我的topic信息,这个确认没问题,是有的
2、每个节点6块盘,为什么有的盘有app(假设topic名称是app),而有的没有呢?用du -sh *命令,也定位到正是app数据量过大导致我其中两块磁盘满了。
3、查看app的分区信息,命令:
./bin/kafka-topics.sh --topic app --describe --z