YOLOv10改进 | 添加注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点

最新推荐文章于 2024-10-25 11:01:30 发布
最新推荐文章于 2024-10-25 11:01:30 发布
阅读量1.3k 收藏 27
点赞数 23
CC 4.0 BY-SA版权
分类专栏： YOLOv10有效涨点专栏 文章标签： YOLO 深度学习 人工智能 计算机视觉 YOLOv10 目标检测 yolov10
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java1314777/article/details/140190667

一、本文介绍

本文给大家带来的是YOLOv10改进DAT(Vision Transformer with Deformable Attention)的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图(因为资源有限，我只用了100张图片的数据集进行了100个epoch的训练，虽然这个实验不能产生确定性的结论，但是可以作为一个参考)。

 专栏回顾：YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备  

目录

一、本文介绍

二、DAT的网络结构思想

2.1 DAT的主要思想和改进

2.2 DAT的网络结构图 

2.3 DAT和其他机制的对比

三、DAT即插即用的代码块

四、添加DAT到你的网络中

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、DAT的yaml文件和运行记录

5.1 DAT的yaml文件1

5.2 训练代码 

了解本专栏 订阅专栏 解锁全文
YOLOv8改进 | 注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
11-18 9491
本文给大家带来的是YOLOv8改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
YOLOv8改进 | 注意力机制 | 添加TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
12-06 6918
本文给大家带来的改进是Triplet Attention三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。
YOLOV8注意力改进方法：Deformable Attention Transformer（附改进代码）
m0_74890428的博客
04-08 1719
们提出了一种新的可变形的自注意模块，其中以数据相关的方式选择自注意中的键-值对的位置。这种灵活的方案使自注意模块能够专注于相关区域并捕获其特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的具有可变形注意力的通用主干模型。大量实验表明，我们的模型在综合基准上取得了持续改进的结果。
YOLOv10改进 | 添加注意力机制篇 | 添加FocusedLinearAttention助力yolov10实现有效涨点（含二次创新PSA机制）
Snu77的博客
07-09 1081
本文给大家带来的改进机制是（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测精度)，旨在提高效率和表现力。其解决了两个在传统线性注意力方法中存在的问题：聚焦能力和特征多样性。这种方法通过一个高效的映射函数和秩恢复模块来提高计算效率和性能，使其在处理视觉任务时更加高效和有效。简言之，Focused Linear Attention是对传统线性注意力方法的一种重要改进，提高了模型的聚焦能力和特征表达的多样性。通过本文你能够了解到。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 16万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv5改进 | 注意力篇 | DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
12-17 2124
本文给大家带来的是YOLOv5改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
YOLOv8v10改进 | 注意力篇 | 手把手教你在YOLOv10上添加LSKAttention大核注意力机制（助力小目标检测极限涨点）
Ai缝合怪、助力小伙伴高效发论文
09-09 842
摘要：带有大型内核注意力 （LKA） 模块的视觉注意力网络 （VAN） 已被证明在一系列基于视觉的任务中提供了卓越的性能，超过了视觉转换器 （ViTs）。然而，随着卷积核大小的增加，这些 LKA 模块中的深度卷积层会导致计算和内存占用量呈二次方增加。为了缓解这些问题，并在 VAN 的注意力模块中使用非常大的卷积内核，我们提出了一个大型可分离内核注意力模块系列，称为 LSKA。LSKA 将深度卷积层的 2D 卷积核分解为级联的水平和垂直 1-D 核。
即插即用篇 | 手把手教你 YOLOv10 添加注意力机制 | 20+ 种全打通！
YOLOv8项目贡献者
06-24 1833
即插即用篇 | 手把手教你 YOLOv10 添加注意力机制 | 20+ 种全打通！
【RT-DETR有效改进】利用EMAttention加深网络深度提高模型特征提取能力（特征选择模块）
Snu77的博客
02-17 2461
本文给大家带来的改进机制是EMAttention注意力机制，它的核心思想是，重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，
YOLOv8改进 | 融合篇，YOLOv8添加CA注意力机制+新增小目标检测头，助力涨点
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
07-02 4343
小目标检测难点众多，导致很多算法对小目标的检测效果远不如大中型目标。影响算法性能的主要原因如下:第一，小目标分辨率低、信息量不足，导致神经网络提取到的有效特征较少。第二，小目标在图像中所占的区域较小，易受背景干扰，这对算法的定位性能要求较高。第三，小物体标注困难，训练数据有限，导致模型泛化能力差。例如多尺度学习、无锚机制和生成对抗学习等方法，都能提高小目标检测的准确性和鲁棒性。为了改善小目标漏检现象严重的问题，我在 YOLOv8 中增加了 P2 检测头，相当于有四个检测头，使网络能检测到更小的目标。
YOLOv8改进有效涨点系列-＞适合多种检测场景的BiFormer注意力机制(Bi-level Routing Attention)
Snu77的博客
11-02 8686
本文手把手教你添加Biformer注意力机制，通过实战的方式帮你理解，BiFormer是一种结合了Bi-level Routing Attention的视觉Transformer模型，BiFormer模型的核心思想是引入了双层路由注意力机制。在BiFormer中每个图像块都与一个位置路由器相关联。这些位置路由器根据特定的规则将图像块分配给上层和下层路由器。上层路由器负责捕捉全局上下文信息，而下层路由器则负责捕捉局部区域的细节。具体来说，上层路由器通过全局自注意力机制对所有图像块进行交互，并生成全局图像表示。
【YOLOv11改进 - 注意力机制】DAT（Deformable Attention）：可变性注意力
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-25 964
【YOLOv11改进 - 注意力机制】DAT（Deformable Attention）：可变性注意力
【YOLOv10改进-注意力机制】DAT（Deformable Attention）：可变形注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-06 1177
Transformer最近在各种视觉任务中表现优异。全局的感知域使Transformer模型比CNN具有更强的表示能力。然而，简单地扩大感受野也引起了一些问题。一方面，使用较为密集的注意力，例如在ViT中，会导致过多的内存和计算成本，并且功能可能会受到超出兴趣区域的无关部分的影响。另一方面，在PVT或Swin Transformer中采用的较为稀疏的注意机制是与数据无关的，这可能会限制对于长距离关系的建模能力。
【RT-DETR有效改进】Best Paper | DAttention (DAT)可变形注意力机制和动态采样点
Snu77的博客
02-22 4223
本文给大家带来的是YOLOv8改进的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，
YOLO11改进|注意力机制篇|引入DAT注意力机制
A1983Z的博客
10-12 968
YOLO11中添加DAT注意力机制
YOLOv5改进系列：可变形注意力机制DAT
ZzzzzKnight的博客
03-09 707
本文主要工作包括DAT原理介绍及改进代码策略，该模块为即插即用模块，部署位置可根据实际针对任务需求，自行调整。本专栏持续更新中，订阅本栏，关注更新~
注意力机制篇 | YOLOv8改进之添加DAT注意力机制
突然好想你
04-02 616
DAT（Vision Transformer with Deformable Attention）是一种引入了可变形注意力机制的视觉Transformer。在训练算法模型的时候，通过引入可变形注意力机制，改进了视觉Transformer的效率和性能，使其在处理复杂的视觉任务时更加高效和准确。🌈
【YOLOv8改进-注意力机制】DAT（Deformable Attention）：可变性注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-25 1765
【YOLOv8改进-注意力机制】DAT（Deformable Attention）：可变性注意力一方面，使用密集注意力（例如在ViT中）会导致过高的内存和计算成本，并且特征可能会受到兴趣区域之外的无关部分的影响。另一方面，PVT或Swin Transformer采用的稀疏注意力对数据不敏感，可能限制了建模长距离关系的能力。
【YOLOv8改进[注意力]】YOLOv8添加DAT(Vision Transformer with Deformable Attention)助力涨点
静谧、淡雅
04-22 2449
YOLOv8添加DAT注意力机制(Vision Transformer with Deformable Attention)助力涨点
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值