【论文解读】QUEST: Query Stream for Practical Cooperative Perception

摘要

合作感知通过提供额外的视点和扩展感知领域，可以有效地提高个体感知性能。现有的合作模式要么是可解释的(结果合作)，要么是灵活的(特征合作)。在本文中，我们提出了查询协作的概念，以实现可解释的实例级灵活的特征交互。为了具体解释这一概念，我们提出了一个称为QUEST的合作感知框架，该框架允许查询流在代理之间流动。跨代理查询通过对共同感知实例的融合和对单个未感知实例的补充进行交互。以基于摄像头的车辆基础设施感知为典型的实际应用场景，在DAIR-V2X-Seq真实数据集上的实验结果验证了QUEST的有效性，进一步揭示了查询协作范式在传输灵活性和对丢包的鲁棒性方面的优势。我们希望我们的工作能够进一步促进跨代理表示交互，从而在实践中获得更好的合作感知。

引言

我们提出了查询协作的概念，这是一种基于跨代理的查询流的实例级特征交互范式，位于场景级特征协作和实例级结果协作之间的中点（图1）。
实例级的协作使其更具物理可解释性，特征交互引入了更多的信息弹性。具体来说，我们提出了一个名为QUEST的框架，作为描述这一概念的代表性方法，其中查询在代理之间的流中流动。

• 首先，每个代理执行基于个体变换器的感知。解码器输出的每个查询都对应于一个可能检测到的对象，如果其置信度分数满足请求代理的要求，则该查询将被共享。当跨代理查询到达时，它们被用于查询融合和互补，理论上，从其他角度来看，查询融合可以利用特征增强感知实例的特征，而查询互补可以直接补充局部感知系统的未感知实例。
• 然后，将查询用于协作感知，得到最终的感知结果。为了评估QUEST的性能，我们在DAIR-V2X-Seq上基于在图像捕获时间戳标记的单侧地面实况生成以相机为中心的协作标签。

贡献：

• 我们提出了合作感知任务的查询合作范