【YOLOv8改进】骨干网络： SwinTransformer (基于位移窗口的层次化视觉变换器）(论文笔记+引入代码)

已于 2024-07-15 11:00:36 修改
阅读量7.7k 收藏 9
点赞数 2
CC 4.0 BY-SA版权
分类专栏： YOLOV8基础解析+创新改进+实战案例 文章标签： YOLO 论文阅读 目标检测
于 2024-01-26 15:21:14 首次发布
原创文章，禁止任何形式转载！
本文链接：https://blog.csdn.net/shangyanaf/article/details/135867187
本文详细介绍了SwinTransformer，一种用于视觉任务的高效Transformer模型，其通过移位窗口自注意力实现线性复杂度，并在目标检测等任务上展现优越性能。文章涵盖Swin Transformer的基本原理，包括层次化特征图、块合并和移位窗口注意力机制，以及在YOLOv8中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

image-20240126102941733

摘要

本文提出了一种新型视觉Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干网络。将Transformer从语言领域适应到视觉领域时面临的挑战源于两个领域之间的差异，例如视觉实体的尺度变化大以及图像中像素的高分辨率相比文本中的单词。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过移位窗口计算得出的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，同时也允许跨窗口连接，从而带来更高的效率。这种分层架构具有在不同尺度上建模的灵活性，并且其计算复杂度与图像大小呈线性关系。Swin Transformer的这些特性使其与广泛的视觉任务兼容，包括图像分类（在ImageNet-1K上的top-1准确率为87.3）和密集预测任务，如目标检测（在COCO test-dev上的框准确率为58.7，掩码准确率为51.1）以及语义分割（在ADE20K val上的mIoU为53.5）。其性能大幅超越了之前的最佳水平，在COCO上框准确率提高了+2.7，在掩码准确率提高了+2.6，在ADE20K上mIoU提高了+3.2，展示了基于Transformer模型作为视觉骨干网络的潜力。分层设计和移位窗口方法也证明对所有MLP架构都有益。

创新点

  1. 引入类似于CNN的层次化构建方式构建Transformer模型；

  2. 引入locality思想，对无重合的window区域进行单独的self-attention计算。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

Swin Transformer（Liu et al., 2021）是一种基于 Transformer 的深度学习模型，在视觉任务中具有最先进的性能。与之前的 Vision Transformer (ViT) (Dosovitskiy et al., 2020) 不同，Swin Transformer 效率高且精度更高。由于这些理想的特性，Swin Transformers 被用作当今许多基于视觉的模型架构的骨干。

Swin Transformer引入了两个关键概念来解决原始ViT（视觉变换器）所面临的问题——层次化特征图和移位窗口注意力机制。实际上，Swin Transformer的名称来源于“移位窗口变换器”。Swin Transformer的整体架构如下所示。

请注意，在论文中，第一个块使用了“块划分”（patch partition）。为了简化，这个图中将第一个块标为“块合并”（patch merging），因为它们的操作是相似的。

如我们所见，“块合并”（Patch Merging）模块和“Swin Transformer模块”是Swin Transformer中的两个关键构建块。

image-20240126104612440

了解本专栏 订阅专栏 解锁全文
赋能 YOLOv8：引领目标检测革命的 SwinTransformer 主干网络
一直在水些技术小文
09-20 2231
YOLO（You Only Look Once）系列一直以其出色的性能和实时性而备受关注，而 YOLOv8 则将先进的 SwinTransformer 主干网络引入其中，为目标检测带来了新的突破。本文将深入研究 YOLOv8 和 SwinTransformer 的结合，为你呈现一篇详尽的博文，包含示例和代码，帮助你深入了解如何实现这一强大的目标检测模型。其中一个最引人注目的改进是将主干网络替换为 SwinTransformer，这一变化为目标检测的实时性和准确性带来了巨大的提升。
YOLOv8改进 | SwinTransformer替换Backbone
最新发布
走向CTO的路上...
07-10 563
将Swin Transformer替换YOLOv8的原始Backbone可以显著提高模型的性能，尤其是在目标检测的小目标检测精度和多尺度目标检测性能方面。Swin Transformer是一种基于Transformer的卷积神经网络架构，它能够捕获更长距离的特征依赖关系，并具有更强的泛化能力。Swin Transformer的引入使得YOLOv8能够在复杂场景下也能保持较高的精度，并能够检测到各种尺度的目标。
改进的yolov8加入自注意力机制Swin+Transformer
qq1309399183的博客
12-19 3204
改进的yolov8加入自注意力机制Swin+Transformer
YOLOv8最新改进系列：YOLOv8融合SwinTransformer模块，有效提升小目标检测效果！
B站 Ai学术叫叫兽的文案地
09-06 2万+
YOLOv8融合SwinTransformer模块，有效提升小目标检测效果！
YOLOv8改进添加swin transformer
qq_62127918的博客
07-01 5835
改进YOLOv8，去网上找了很多教程都是充钱才能看的，NND这对一个一餐只能吃两个菜的大学生来说是多么的痛苦，所以自己去找代码手动改了一下，成功实现YOLOv8改进添加swin transformer，本人水平有限，改得不对的地方请自行改正。
【YOLOv8改进】骨干网络： SwinTransformer (基于位移窗口的层次化视觉变换器）
m0_63430863的博客
06-20 1369
本文提出了一种新型视觉，称为，它能够作为计算机视觉的通用骨干网络。将Transformer从语言领域适应到视觉领域时面临的挑战源于两个领域之间的差异，例如视觉实体的尺度变化大以及图像中像素的高分辨率相比文本中的单词。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过移位窗口计算得出的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，同时也允许跨窗口连接，从而带来更高的效率。这种分层架构具有在不同尺度上建模的灵活性，并且其计算复杂度与图像大小呈线性关系。
YOLOv8涨点技巧，添加SwinTransformer注意力机制，提升目标检测效果
kay_545
02-29 5054
Swin Transformer通过引入创新的分层注意力机制展现了其架构的独特性，该机制通过将注意力区域划分为块并在这些块内执行操作，从而有效降低了计算复杂性。其主要结构呈现分层形式，每个阶段包括一组基础块，负责捕捉不同层次的特征表示，形成了分层的特征提取过程。采用多尺度的注意力机制使得模型能够同时关注不同大小的特征，从而提高对图像中不同尺度信息的感知。在多个图像分类基准数据集上，Swin Transformer表现出与其他先进模型相媲美甚至更优的性能，且在相对较少的参数和计算成本下取得出色的结果。
【YOLOv8】YOLOv8改进系列（8）----替换主干网络之Swin Transformer
熬夜秃顶中......
03-18 3313
YOLOv8改进系列（8）----替换主干网络之Swin Transformer
YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-06 3万+
大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。
YOLOv8有效长涨点改进
m0_63430863的博客
06-08 1121
入门必会知识点 标题 链接 写给初学者的YOLO目标检测 概述 https://blog.csdn.net/shangyanaf/article/details/130399439 YOLOv8 来了，快速上手实操 https://blog.csdn.net/shangyanaf/article/details/130539468 目标检测算法以及常用库概述 https://blog.csdn.net/shangyanaf/article/details/132988174 万字
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck
n4mrsmD8Mz的博客
06-08 883
入门必会知识点 标题 链接 写给初学者的YOLO目标检测 概述 https://blog.csdn.net/shangyanaf/article/details/130399439 YOLOv8 来了，快速上手实操 https://blog.csdn.net/shangyanaf/article/details/130539468 目标检测算法以及常用库概述 https://blog.csdn.net/shangyanaf/article/details/132988174 万字
Swin-Transformer:基于通用变压器的视觉骨干
03-30
变形金刚 作者：*，*，*，*，，，和。 此回购协议是的正式实现。 该代码即将推出。 介绍 Swin Transformer最初在描述，它可以用作计算机视觉的通用骨干。 在两个领域之间的差异，例如视觉实体规模的巨大差异以及与文字中的单词相比，图像中像素的高分辨率，带来了使Transformer从语言适应视觉方面的挑战。 为了解决这些差异，我们提出了一个分层的Transformer，其表示是通过移动窗口来计算的。 通过将自注意计算限制为不重叠的局部窗口，同时允许跨窗口连接，移位的窗口方案带来了更高的效率。 这种分层体系结构具有在各种规模上建模的灵活性，并且相对于图像大小具有线性计算复杂性。 Swin变形金刚的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4最高-1）和密集的预测任务，例如目标检测（COCO测试中为58.7箱式AP和51.1遮罩式AP）
YOLOv8 中替换主干网络之 SwinTransformer：完整解析与实现
走向CTO的路上...
08-21 1228
Swin Transformer 采用分层窗口机制和注意力机制，可以有效地捕获图像的全局信息和局部信息，同时保持较高的计算效率。Swin Transformer 在 ImageNet 等多个数据集上取得了良好的精度表现。Swin Transformer 可以应用于图像分类、目标检测、语义分割等多种视觉任务。由于 Swin Transformer 的上述优点，使其成为 YOLOv8 中替换主干网络的理想选择。
何恺明团队新作ViTDet：用于目标检测的视觉Transformer主干网络
机器学习社区
04-03 7642
做目标检测就一定需要 FPN 吗？昨天，来自 Facebook AI Research 的 Yanghao Li、何恺明等研究者在 arXiv 上上传了一篇新论文，证明了将普通的、非分层的视觉 Transformer 作为主干网络进行目标检测的可行性。他们希望这项研究能够引起大家对普通主干检测器的关注。 研究概览 Exploring Plain Vision Transformer Backbones for Object Detection 论文链接：https://arxiv.org/abs/220
改进yolov8缺陷检测+swin+transformer
QQ_1309399183的博客
11-08 746
改进yolov8缺陷检测+swin+transformer
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
B站 Ai学术叫叫兽的文案地
07-22 4653
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
YOLOv5、YOLOv8改进：Swin Transformer-V2
weixin_45303602的博客
09-25 1740
YOLOv5、YOLOv8改进：Swin Transformer-V2
YOLOv8+swin_transfomerv2
在深度学习的路上不断探索
09-30 2700
yolov8改backbone，融入transfomerv2,免费
YOLOv5改进 | 主干网络 | 在backbone添加Swin-Transformer层【论文必备】
kay_545
05-15 2804
Swin-Transformer，yolov5改进，yolov8改进，yolo，目标检测
swin transformer融入yolov8
02-21
### 将Swin Transformer融入YOLOv8实现目标检测模型改进 #### 1. Swin Transformer概述 Swin Transformer是一种基于Transformer架构设计的新型卷积神经网络替代方案，特别适用于处理高分辨率图像中的局部模式识别问题。该模型采用分层结构和移位窗口机制，在保持计算效率的同时提高了特征表示能力。 #### 2. 集成方法 为了将Swin Transformer成功应用于YOLOv8的目标检测框架内，可以按照如下方式操作： - **替换原有主干网**：用预训练好的Swin Transformer代替YOLOv8中原有的CSPDarknet53或其他形式的基础网络部分[^2]。 - **调整输入尺寸**：考虑到Swin Transformer支持更大尺度图片的能力，可以根据具体应用场景适当增加YOLOv8输入图像大小，从而更好地利用新骨干带来的优势[^5]。 - **微调超参数**：由于更换了不同的特征提取模块，可能需要重新评估并优化一些关键性的配置选项，比如锚框设置、损失函数权重等，以确保整体性能达到最优状态[^4]。 - **迁移学习与自定义数据集适配**：如果是在特定领域或私有化场景下部署，则建议先基于公开大规模通用物体类别集合（如COCO）完成初步训练过程；之后再针对实际业务需求采集少量样本进行finetune微调，这样有助于提高泛化能力和准确性[^1]。 ```python import torch from yolov8 import YOLOv8 from swin_transformer import SwinTransformer def integrate_swin_to_yolov8(pretrained_weights_path, num_classes=80): # 加载预训练swin transformer模型 backbone = SwinTransformer(img_size=(640, 640), patch_size=4, in_chans=3, embed_dim=96, depths=[2, 2, 6, 2], num_heads=[3, 6, 12, 24], window_size=7).cuda() checkpoint = torch.load(pretrained_weights_path) backbone.load_state_dict(checkpoint['model']) # 创建yolov8实例并将backbone设为新的基础网络 model = YOLOv8(num_classes=num_classes) model.backbone = backbone return model ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO大师

你的打赏，我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值