【论文阅读】—RTDETR

《DETRs Beat YOLOs on Real-time Object Detection》

最近，基于端到端DETR取得了显著的性能。然而，DETR的高计算成本限制了它们的实际应用，并阻碍了它们充分利用无后处理（如非最大抑制（NMS））的优势。本文首先分析了NMS对现有实时目标检测器的准确性和速度的负面影响，并建立了一个端到端的速度基准。为了解决上述问题，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。

具体来说，我们设计了一种高效的混合编码器，通过解耦尺度内交互和跨尺度融合来有效地处理多尺度特征，并提出了IoU感知的查询选择，通过向解编码器提供更高质量的初始object queries来进一步提高性能。

1. Introduction

问题：DETR的高计算成本问题尚未得到有效解决，这限制了DETR的实际应用，导致无法充分利用其优势。

为了实现上述目标，我们重新思考了DETR，并对其关键组成部分进行了详细的分析和实验，以减少不必要的计算冗余。我们发现，尽管引入多尺度特征有利于加速训练收敛和提高性能[49]，但它也会导致输入编码器的序列长度显著增加。 因此，由于计算成本高，transformer encoder成为模型的计算瓶颈。为了实现实时目标检测，我们设计了一种高效的混合编码器来代替原始的编码器。通过解耦多尺度特征的尺度内交互和尺度间融合，编码器可以有效地处理不同尺度的特征。