YOLOV8注意力改进方法：Deformable Attention Transformer（附改进代码）

原论文地址：原论文下载地址

论文摘要：Transformer最近在各种视觉任务上表现出了优异的性能。对于巨大的甚至是全局性的感受野赋予Transformer模型比CNN模型更高的表现力。然而，仅仅扩大感受野也会引起一些担忧。一方面，在ViT中使用密集的注意力会导致过度的内存和计算成本，并且特征可能会受到感兴趣区域之外的不相关部分的影响。另一方面，在PVT或Swin Transformer中采用的稀疏注意力可能会限制建立long range关系模型的能力。为了缓解这些问题，我们提出了一种新的可变形的自注意模块，其中以数据相关的方式选择自注意中的键-值对的位置。这种灵活的方案使自注意模块能够专注于相关区域并捕获其特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的具有可变形注意力的通用主干模型。大量实验表明，我们的模型在综合基准上取得了持续改进的结果。

具体的内容学习可以参考这篇博客介绍的比较详细：

博客地址

可变形注意机制的图示。 (a) 呈现可变形注意力的信息流。在左侧部分，一组参考点均匀地放置在特征图上，其偏移量是通过偏移网络从查询中学习到的。然后根据变形点从采样的特征中投影出变形的键和值，如右图所示。相对位置偏差也由变形点计算，增强了输出变形特征的多头注意力。我们只展示了 4 个参考点以进行清晰的展示，实际实施中还有更多参考点。 (b) 揭示了偏移生

Deformable CNN and attention
可变形卷积是一种处理以输入数据为条件的灵活变换空间位置的机制。最近，它已应用于ViT。Deformable DETR通过为CNN backbone顶部的每个query选择少量的key，改进了DETR的收敛性。由于缺少key限制了表示能力，其可变形注意力不适合用于作为特征提取的视觉主干。此外，Deformable DETR中的注意力来自简单学习的线性投影，并且query token之间不共享key。DPT和PS ViT构建可变形模块以优化视觉token。具体而言，DPT提出了一种可变形patch embedding方法来细化各个stage的patch，而PS ViT在ViT主干之前引入了一个空间采样模块来改进视觉token。它们都没有将变形注意力纳入视觉中枢。相比之下，我们的可变形注意力采用了一种强大而简单的设计来学习视觉token之间共享的一组全局key，可以作为各种视觉任务的通用主干。我们的方法也可以被视为一种空间自适应机制，这在各种工作中都被证明是有效的。

与 DCN 类似，将设计好的可变形注意力模块加入到 ViT 模型的最后两个阶段，得到 Deformable Attention Transformer，如下图所示：

2.DAT加入到yolov8的步骤：

2.1 加入ultralytics/nn/attention/deformable_attention_2d.py

import torch
import torch.nn.functional as F
from torch import nn, einsum