GroupMixFormer：Advancing Vision Transformers with Group-Mix Attention论文学习笔记

论文地址：https://arxiv.org/pdf/2311.15157.pdf

代码地址：https://github.com/AILab-CVC/GroupMixFormer

摘要：ViT 已被证明可以通过使用多头自注意力 （MHSA） 对远程依赖关系进行建模来增强视觉识别，这通常被表述为Query-Key-Value 计算。但是，从“Query”和“Key”生成的注意力图仅捕获单个粒度的token-to-token的相关性。在本文中，作者认为自注意力应该有一个更全面的机制来捕捉 tokens和groups（即多个相邻tokens）之间的相关性，以获得更高的表征能力。因此，作者提出Group-Mix Attention（GMA）作为传统自注意力的高级替代品，它可以同时捕获具有各种group规模的token-to-token, token-to-group, and group-to-group的相关性。为此，GMA 将 Query、Key 和 Value 统一拆分为多个段，并执行不同的分组聚合以生成分组代理（group proxies）。注意力图是根据tokens和group proxies的混合计算的，用于在 Value 中重新组合tokens和groups。

基于GMA，作者引入了一个强大的骨干，即GroupMixFormer，它在图像分类、目标检测和语义分割方面实现了最先进的性能，参数比现有模型少。例如，GroupMixFormer-L（具有70.3M参数和384输入）在没有外部数据的情况下在ImageNet-1K上达到86.2%的Top1准确率，而GroupMixFormer-B（具有45.8M参数）在ADE20K上达到51.2%的mIoU。

简单总结：本文通过将QKV统一划分为5段，pre-attention branche（四段）其中三段分别做核大小为3/5/7（即滑动窗大小）的深度可分离卷积来实现聚合器，将滑动窗周围的信息聚合在一个token中，其中一个不做聚合，以保持网络在建模单个token相关性方面的能力，最后一段被建模为非注意力分支，该段有聚合器但没有注意力，如图三所示。利用了组聚合器同时捕捉token-to-token、token-to-group和group-to-group的关联。

1. Introduction

        多头自注意力 （MHSA） 是显著提高ViT性能的一个关键模块，它支持使用长程依赖建模 、全局感受野、更高的灵活性进行网络设计和更强的鲁棒性。通常的注意力计算，关注的是单个token对之间的相关性计算。然而，经验发现，Q-K-V自注意力存在一个主要局限性，如图1所示：注意力图仅在一个粒度上描述了每个单独的token对之间的相关性（图1（a）），并且将注意力图与Va