Kafka topic分区设置不合理导致磁盘写入不均衡

本文分析了Kafka topic分区设置不合理导致的磁盘写入不均衡问题,通过排查发现topic分区数少于磁盘数,且数据量大的topic集中在少数磁盘。建议根据topic数据量来设定分区数,确保分区数≤磁盘数以实现数据均衡分布,同时介绍了用于检查和管理Kafka topic的命令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

背景:

我给kafka准备了6块盘,但是每次都是其中两块磁盘满了,导致kafka挂掉,本着一劳永逸的原则,今天一定要查到原因在哪里?

我得kafka配置,我有3个主机broker01,broker02,broker03,存储配置如下:

log.dirs=/chunk04/kafka/logs,/chunk05/kafka/logs,/chunk06/kafka/logs,/chunk07/kafka/logs,/chunk08/kafka/logs,/chunk09/kafka/logs

以上这些配置都是没问题,因为官方文档给我也是这样,多个磁盘就用“,”隔开就行了。那问题在哪呢?

于是我先排查每一块磁盘里都存储了哪些topic信息,这个就不截图了,总结下发现的问题:

1、3个节点的集群,每个topic创建的时候是3副本,也就是说“一式三份”,每个节点上都应该有我的topic信息,这个确认没问题,是有的

2、每个节点6块盘,为什么有的盘有app(假设topic名称是app),而有的没有呢?用du -sh *命令,也定位到正是app数据量过大导致我其中两块磁盘满了。

3、查看app的分区信息,命令:

./bin/kafka-topics.sh --topic app --describe --z

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

激流丶

感觉小弟写的不错,给点鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值