SMILETrack——ByteTrack与外观特征的融合实现高效的多目标跟踪方法

SMILETrack——ByteTrack与外观特征的融合实现高效的多目标跟踪方法

概述

ByteTrack在多目标跟踪领域取得了显著成就，但依赖运动信息（IoU）进行关联的机制存在局限性。为了弥补这一不足，SMILETrack提出一种集成了外观特征的最先进的多目标跟踪（SoTA）模型。
在多目标跟踪的两大类别中，单独检测与嵌入模型（SDE）和联合检测与嵌入模型（JDE）各有优势与挑战。SDE方法依赖于独立的检测器，并通过关联每一帧的检测结果来实现跟踪，这种方法因其允许对检测和跟踪模型进行独立优化而通常更为精确。然而，使用独立模型也带来了实时性方面的挑战。相反，JDE方法通过在单一模型中同时进行检测和跟踪，理论上能够提供实时估计，但这种方法由于竞争性学习的存在，往往会导致准确性的下降。SMILETrack模型属于SDE类别，它继承了ByteTrack仅使用运动信息的关联策略，并进一步引入了基于注意力机制的外观特征提取器，这一改进在MOT17和MOT20数据集上取得了SoTA的成果。

SMILETrack的主要贡献可以归纳为以下几点：

1. 引入了相似性学习模块（SLM），这是一种外观特征提取器，它利用注意力机制明确区分检测到的个体，从而提高了跟踪的准确性。1. 针对ByteTrack在鲁棒性方面的不足，我们提出了相似性匹配级联（SMC），这是一种结合了外观信息和运动信息的关联策略，旨在增强模型的鲁棒性。1. 设计了一种门函数来调节外观和运动信息的权重，使得模型在面对遮挡和运动模糊时能够进行更为鲁棒的关联。
   论文地址：https://arxiv.org/abs/2211.08824
   源码地址：https://github.com/WWangYuHsiang/SMILEtrack
   🔥计算机视觉、图像处理、毕业辅导、作业帮