yolov8的nms中multi-label功能为什么不是真正的multi-label（补充）

最新推荐文章于 2024-12-16 09:32:25 发布
最新推荐文章于 2024-12-16 09:32:25 发布
阅读量1.9k 收藏 31
点赞数 46
CC 4.0 BY-SA版权
文章标签： yolov8 多分类 YOLO 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mapalas/article/details/135932512

上文详解yolov8的nms中multi-label功能为什么不是真正的multi-label任务实现说到在yolov8的detection训练过程都是以每个像素最大面积真实目标框来作为loss的target来计算损失率和训练的，所以无法对重叠的多类别框进行训练，即使由nms产生的multi-label框，也不是真正的multi-label网络。

        训练过程中，决定是否同时训练两个标签的是标签分配策略TaskAlignedAssigner过程。标签分配最关键的一步是select_highest_overlaps函数，它将获得在每个像素点上面积最大的唯一GT，target_gt_idx。往后target_labels, target_bboxes, target_scores都由self.get_targets函数产生。
        那么在select_highest_overlaps函数中是什么决定或产生了最后的target_gt_idx呢？在代码中可以很明显看出：
        

def select_highest_overlaps(mask_pos, overlaps, n_max_boxes):
    # (b, n_max_boxes, h*w) -> (b, h*w)
    fg_mask = mask_pos.sum(-2)
    if fg_mask.max() > 1:  # one anchor is assigned to multiple gt_bboxes
        mask_multi_gts = (fg_mask.unsqueeze(1) > 1).repeat([1, n_max_boxes, 1])  # (b, n_max_boxes, h*w)
        max_overlaps_idx = overlaps.argmax(1)  # (b, h*w)
        is_max_overlaps = F.one_hot(max_overlaps_idx, n_max_boxes)  # (b, h*w, n_max_boxes)
        is_max_overlaps = is_max_overlaps.permute(0, 2, 1).to(overlaps.dtype)  # (b, n_max_boxes, h*w)
        mask_pos = torch.where(mask_multi_gts, is_max_overlaps, mask_pos)  # (b, n_max_boxes, h*w)
        fg_mask = mask_pos.sum(-2)
    # find each grid serve which gt(index)
    target_gt_idx = mask_pos.argmax(-2)  # (b, h*w)
    return target_
最低0.47元/天 解锁文章

新学期VIP享超值加赠
Mapalas
关注
YOLOv8 新世代 NMS 算法：DIoU-NMS、CIoU-NMS、EIoU-NMS、GIoU-NMS、SIoU-NMS、Soft-NMS 完全解析
一直在水些技术小文
11-08 1856
NMS，或称非极大值抑制，是目标检测中的一个关键步骤。它的主要目标是减少检测结果中的冗余边界框，只保留具有最高置信度的边界框，以提高检测的准确性和效率。NMS 的工作原理是，对于每个检测框，计算其与其他检测框的IoU（交并比），如果IoU高于阈值，则保留置信度较高的框，否则将其抑制。
【YOLOv8改进[Head检测头]】YOLOv8换个RT-DETR head助力模型更优秀
静谧、淡雅
04-23 2979
YOLOv8换个RT-DETR head助力模型更优秀
关于Multi-label Classification 多标签分类的问题
Rosemary_Yan的博客
10-18 6029
多分类： 训练集中每个样本只有一个标签，该标签来自于一个不重合的标签集合L，|L| > 1。 当|L|=2 时，这是一个二分类问题。当|L| > 2 时，这是一个多分类问题。   单标签与多标签： 多标签： 令为训练样本集，为标签集合，给定一组形式为的训练样本，，，目的是学习求出合适的误差低的函数（中的unique values）。 大多数情况下，多标签的方法会涉及到...
常用目标检测算法中如何从特征层中获取bbox和score
大山的专栏
07-31 1269
常用目标检测算法中如何从特征层中获取bbox和score float *cls_score; float *box_pred; for (int j = 0; j < map_size; j++) { for (int k = 0; k < num_anchor; k++) { std::vector<float> sample_scores; for (int n = 0; n < num_classes; n++)
模型训练时报错IndexError: index 10 is out of bounds for dimension 1 with size 10
yszbrzdd的博客
02-21 1293
训练模型时，出现数组越界错误
yolov8训练过程中，出现IndexError：index 17 is out of bounds for dimension 1 with size 17，如何解决问题
weixin_60819517的博客
06-24 1872
yolov8训练过程中，出现IndexError：index 17 is out of bounds for dimension 1 with size 17，如何解决问题
详解yolov8的nms中multi-label功能为什么不是真正的multi-label任务实现
Mapalas的博客
01-29 3485
yolov8的detection训练过程都是以每个像素最大面积真实目标框来作为loss的target来计算损失率和训练的，所以无法对重叠的多类别框进行训练，即使由nms产生的multi-label框，也不是真正的multi-label网络。
改进YOLOv5、YOLOv7系列：原创改进Soft-NMS,Soft-CIoUNMS,Soft-SIoUNMS,Soft-DIoUNMS,Soft-EIoUNMS,Soft-GIoUNMS...
热门推荐
包括YOLOv5、YOLOv7、YOLOv8等模型改进
08-09 1万+
改进YOLOv5、YOLOv7系列：原创改进Soft-NMS,Soft-CIoUNMS,Soft-SIoUNMS,Soft-DIoUNMS,Soft-EIoUNMS,Soft-GIoUNMS...
【YOLOv8改进 - 检测头】 RT-DETR检测头，解决传统目标检测器中非极大值抑制（NMS）所带来的速度和准确性之间的平衡问题
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 1455
YOLO 系列因其在速度和准确性之间的合理平衡，已成为实时目标检测中最受欢迎的框架。然而，我们观察到 YOLO 的速度和准确性受到非极大值抑制（NMS）的负面影响。最近，基于 Transformer 的端到端检测器（DETRs）提供了一种替代方案来消除 NMS。然而，高计算成本限制了它们的实用性，并阻碍了它们充分利用不使用 NMS 的优势。在本文中，我们提出了实时检测 Transformer（RT-DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
YOLOv8 更换NMS：DIoU-NMS、CIoU-NMS、EIoU-NMS、GIoU-NMS、SIoU-NMS和Soft-NMS详解
走向CTO的路上...
05-20 2522
非最大值抑制（Non-Maximum Suppression，NMS）是目标检测算法中常用的后处理操作，用于消除预测框中的冗余和重叠，只保留最具代表性的预测框。传统的NMS算法基于IoU（Intersection over Union）度量进行计算，但IoU存在一些局限性，例如对尺度和形状敏感，难以区分正负样本等。为了克服IoU的局限性，研究人员提出了多种改进型NMS算法，例如DIoU-NMS、CIoU-NMS、EIoU-NMS、GIoU-NMS、SIoU-NMS和Soft-NMS等。
给YOLOv8添加nms算子和后处理层
qq_42693842的博客
11-29 1209
我搬
YOLOV8改进：soft-nms、DIOU-nms、SIOU-nms、EIOU-nms、WIOU-nms
weixin_45303602的博客
10-11 7397
NMS（Non-Maximum Suppression，非极大值抑制）是一种常用的目标检测算法，用于抑制冗余的边界框，保留最具代表性的目标框。在目标检测任务中，通常会生成多个候选边界框（bounding box），每个边界框都对应着一个可能的目标。然而，由于图像中可能存在多个重叠的边界框，为了提取出最准确的目标框，需要使用NMS来进行筛选。首先，根据目标框的置信度（或者其他评分指标），按照降序排列所有的候选框。选择具有最高置信度的框，并将其添加到最终输出的结果列表中。
Yolov8优化之路：Soft-NMS引入，为密集遮挡场景检测精度再添砝码
一直在水些技术小文
11-11 1588
目标检测在计算机视觉领域占有重要地位，而在复杂场景中，尤其是密集遮挡场景下，检测精度往往受到挑战。为了应对这一问题，最新的Yolov8版本引入了Soft-NMS（Non-Maximum Suppression）技术，旨在提升在密集遮挡场景下的检测精度。本文将深入研究Soft-NMS的原理，通过案例和代码示例详细解读其在Yolov8优化中的应用效果。
深入解析NMS（非最大抑制）及其在YOLOv8中的应用
weixin_43199439的博客
12-16 1127
NMS虽然在传统目标检测中扮演了至关重要的角色，但其带来的计算开销不可忽视。尤其是在实时目标检测任务中，NMS的计算负担可能成为性能瓶颈。YOLOv8在传统的NMS上进行了优化，通过调整阈值来控制计算量，以平衡速度和精度的需求。但在DETR及其衍生的RT-DETR中，完全去除NMS，通过端到端的训练和自注意力机制来实现目标检测，展现了更为高效的架构。从技术发展的角度来看，去除NMS的目标检测方法（如DETR）为实时检测提供了更多可能性，尤其是在精度和速度上可以做到更好的平衡。
pytorch下yolov8打包onnx模型并使用NMS对数据清洗（最后有完整代码）
qq_64809150的博客
07-15 1711
本文对该模型进onnx打包并在pytorch环境下运行。打包是我为了部署方便，也可以不打包，本文重点在于非极大值抑制对锚框进行清洗，文章末尾有完整代码
Yolov5/Yolov7优化：引入Soft-NMS并结合各个IOU变体GIOU、DIOU、CIOU、EIOU、SIOU，进一步提升密集遮挡场景检测精度
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
06-25 1820
Soft-NMS解决yolov5自带的nms在密集遮挡场景会出现很大的问题，如出现批量漏检；在这个基础上加入各种IOU变体，进一步提升检测精度。
Yolov8优化：引入Soft-NMS，提升密集遮挡场景检测精度
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
06-20 3327
Soft-NMS解决yolov8自带的nms在密集遮挡场景会出现很大的问题，如出现漏检；Soft-NMS的思路：不要粗鲁地删除所有IOU大于阈值的框，而是降低其置信度。
浅析YOLOv8超参数调节之NMS和IoU
SoNg_ch_的博客
01-08 7892
NMS 算法的大致过程：每轮选取置信度最大的 Bounding Box（简称 BBox） 接着关注所有剩下的 BBox 中与选取的 BBox 有着高重叠（IoU）的，它们将在这一轮被抑制。因此，在使用 NMS 时，IoU 阈值的确定是比较重要的，但一开始我们可以选定 default 值（论文使用的值）进行尝试。Step2：对剩下的 BBox 和已经选取的 BBox 计算 IOU，淘汰（抑制） IOU 大于设定阈值的 BBox（在图例中这些淘汰的 BBox 的置信度被设定为0）。
后处理篇 | YOLOv8 更换 DIoU-NMS / CIoU-NMS / EIoU-NMS/ GIoU-NMS / SIoU-NMS/ Soft-NMS 教程
YOLOv8项目贡献者
07-10 6447
YOLOv8 更换 NMS 手把手教程 ，附源码
YOLOv8后处理优化中加入DIoU-NMS
最新发布
05-07
### YOLOv8 中集成 DIoU-NMS 的方法 要在 YOLOv8 后处理中实现 DIoU-NMS 方法，可以通过修改其源码来完成。以下是具体的操作方式： #### 修改 `non_max_suppression` 函数 YOLOv8 使用的非极大值抑制 (NMS) 实现通常位于工具模块中（如 `ultralytics/yolo/utils/ops.py` 或类似的文件路径），其中定义了一个名为 `non_max_suppression` 的函数。为了支持 DIoU-NMS，需要调整该函数。 以下是一个基于 YOLOv5 和 YOLOv8 的代码示例，展示如何将 DIoU-NMS 集成到后处理阶段[^1]: ```python import torch def non_max_suppression(prediction, conf_thres=0.25, iou_thres=0.45, classes=None, agnostic=False, multi_label=True, diou_nms=True): """ 执行非极大值抑制 (NMS)，可以选择使用 DIoU-NMS。 参数: prediction: 模型预测结果 (batch_size, num_boxes, [xywh, obj_conf, class_scores]) conf_thres: 置信度阈值 iou_thres: IoU 阈值 classes: 是否过滤特定类别 agnostic: 类别无关 NMS multi_label: 多标签分类模式 diou_nms: 是否启用 DIoU-NMS 返回: list of detections, on (n,6) tensor per image [xyxy, conf, cls] """ # 初始化变量 nc = prediction.shape[2] - 5 # 数字类别的数量 xc = prediction[..., 4] > conf_thres # 候选框筛选条件 # 输出列表初始化 output = [torch.zeros((0, 6), device=prediction.device)] * prediction.shape[0] for xi, x in enumerate(prediction): # 对每张图片的结果进行迭代 x = x[xc[xi]] # 过滤掉低置信度候选框 if not x.shape[0]: continue # 计算 xyxy 格式的边界框坐标 box = xywh2xyxy(x[:, :4]) # 如果启用了多标签，则按类别分别处理 if multi_label: i, j = (x[:, 5:] > conf_thres).nonzero(as_tuple=False).T x = torch.cat((box[i], x[i, j + 5, None], j[:, None].float()), 1) else: # 单一最高分数类别 conf, j = x[:, 5:].max(1, keepdim=True) x = torch.cat((box, conf, j.float()), 1)[conf.view(-1) > conf_thres] # 排序并执行 NMS n = x.shape[0] # 当前图像中的检测数 if not n: continue c = x[:, 5:6] * (0 if agnostic else max_wh) # 类别偏移 boxes, scores = x[:, :4] + c, x[:, 4] # 调整后的盒子和得分 if diou_nms: from utils.metrics import bbox_iou # 导入 DIoU 计算函数 ious = bbox_iou(boxes.unsqueeze(1), boxes.unsqueeze(0), x1y1x2y2=False, CIoU=True) # 计算 DIoU 矩阵 selected_indices = [] while True: _, idx = scores.max(0) selected_indices.append(idx.item()) if len(selected_indices) >= n or scores[idx] < conf_thres: break mask = ious[idx] <= iou_thres scores = scores[mask.squeeze()] boxes = boxes[mask.squeeze()] x = x[selected_indices] else: from torchvision.ops import nms indices = nms(boxes, scores, iou_thres) x = x[indices] output[xi] = x return output ``` #### 关键点说明 1. **DIoU 计算**: 上述代码通过调用 `bbox_iou` 函数实现了 DIoU 的计算逻辑[^1]。如果未找到对应的函数，可以从 YOLOv5 的 `utils/metrics.py` 文件复制其实现。 2. **自定义 NMS 循环**: 在启用 DIoU-NMS 的情况下，手动构建循环以逐步选择最优目标，并剔除与其他目标重叠率超过设定阈值的对象。 3. **兼容性**: 新增参数 `diou_nms` 控制是否启用 DIoU-NMS，默认设置为 False，以便保持原有功能不变。 --- ### 注意事项 - 若发现性能瓶颈，建议测试不同硬件平台下的运行效率，因为 DIoU-NMS 可能会稍微增加计算开销。 - 确保导入的辅助函数（如 `bbox_iou`）已正确配置于项目目录下。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值