中文名称：PADRe：一种高效视觉Transformer的统一多项式注意力替代算法
这里写目录标题
摘要：
我们提出了多项式注意力替代方案（PADRe），这是一个用于替代Transformer模型中传统自注意力机制的新型统一框架。值得注意的是，最近几种替代注意力机制，包括Hyena、Mamba、SimA、Conv2Former和Castling-ViT，都可以被视为我们PADRe框架的特定实例。PADRe利用多项式函数，并借鉴了近似理论中的已知结果，在不牺牲准确性的前提下提高了计算效率。PADRe的关键组件包括乘法非线性，我们通过简单、硬件友好的操作如Hadamard乘积实现这些非线性，仅需线性的计算和内存成本。PADRe进一步避免了使用复杂的函数如Softmax，但仍保持了与传统自注意力相当或更高的准确性。我们评估了PADRe在多种计算机视觉任务中作为自注意力替代方案的有效性。这些任务包括图像分类、基于图像的2D目标检测和3D点云目标检测。实验证据表明，在用PADRe替代Transformer模型中的自注意力时，PADRe比传统自注意力快显著（在服务器GPU和移动NPU上快11到43倍），同时保持了类似的准确性。
1.引言
Transformer在自然语言处理、计算机视觉和语音处理方面的最新进展中起到了关键作用。在计算机视觉中，视觉Transformer（ViTs）[7]尤其重要，推动了开放世界识别[12]、图像和视频生成[21, 2]以及大规模多模态模型[16, 34]等领域的创新。
然而，Transformer中自注意力操作所带来的计算和内存成本相对于输入大小可以呈平方级增加。这种计算负担在实际的计
订阅专栏 解锁全文
扫一扫
15
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
