weixin_45303602的博客

RT-DETR是第一款基于实时端到端转换器的物体检测器。它的效率来自于框架设计和匈牙利匹配。然而，与YOLO系列等密集监督检测器相比，匈牙利匹配提供的监督要稀疏得多，导致模型训练不足，难以实现最佳结果。为了解决这些问题，我们提出了一种基于RT-DETR的分层密集正监督方法，命名为RT-DETRv3。首先，我们引入一个基于CNN的辅助分支，它提供密集的监督，与原始解码器协作来增强编码器特征表示。其次，为了解决解码器训练不足的问题，我们提出了一种新的包含自我注意扰动的学习策略。

例如，tensor([0., 5., 0., 0., 0.], device='cuda:0')中的0和5表示第一个对象被分类为类别0，第二个对象被分类为类别5，以此类推。举例来说，如果一个.txt文件中的一行是1 0.5 0.5 0.2 0.3，这意味着该对象属于类别1（例如“车”），其边界框的中心位于图像中心（X和Y坐标均为0.5），边界框的宽度是图像宽度的20%，高度是图像高度的30%。YOLOv8x-cls: 在这个系列中，它提供了最高的准确率，但速度最慢，需要较强的硬件支持。

为了解决这个问题，我们提出了一种基于秩的块设计方案，旨在通过紧凑的架构设计降低被证明是冗余的阶段复杂度。我们首先提出了.个紧凑的倒置块(CIB)结构，它采用廉价的深度可分离卷积进行空间混合，以及成本效益高的点对点卷积进行通道混合.2fUIB只是用CIB结构替换了YOLOv8中C2f的Bottleneck结构实现代码ultralytics/nn/modules/block.py。

YOLOv10 的架构借鉴了以往 YOLO 模型的优点，同时引入了几项关键创新。模型架构由以下部分组成：Backbone：YOLOv10 中的骨干网负责特征提取，使用增强版 CSPNet（Cross Stage Partial Network）来改善梯度流并减少计算冗余Neck：颈部用于汇聚不同尺度的特征，并将其传递给头部。它包括 PAN（Path Aggregation Network）层，可实现有效的多尺度特征融合。

卷积神经网络(CNNs)在计算即使觉任务中如图像分类和目标检测等取得了显著的成功。然而，当图像分辨率较低或物体较小时，它们的性能会灾难性下降。这是由于现有CNN常见的设计体系结构中有缺陷，即使用卷积步长和/或池化层，这导致了细粒度信息的丢失和较低效的特征表示的学习。为此，我们提出了一个名为SPD-Conv的新的CNN构建块来代替每个卷积步长和每个池化层(因此完全消除了它们)。SPD-Conv由一个空间到深度(SPD)层和一个无卷积步长(Conv)层组成，可以应用于大多数CNN体系结构。

本文将以SE注意力机制为例，演示如何在YOLOv9种添加注意力机制！SENet提出了一种基于“挤压和激励”（SE）的注意力模块，用于改进卷积神经网络（CNN）的性能。SE块可以适应地重新校准通道特征响应，通过建模通道之间的相互依赖关系来增强CNN的表示能力。这些块可以堆叠在一起形成SENet架构，使其在多个数据集上具有非常有效的泛化能力。

使用ICCV2023中的动态蛇形卷积替换YOLOv9网络中的Conv模块。应用场景： 适合 具有细长微弱的局部结构特征与复杂多变的全局形态特征的场景。话不多说，展示修改成功后的运行图。

Dynamic Snake Convolution是一种针对细长微弱的局部结构特征与复杂多变的全局形态特征设计的卷积模块。RepNCSPELAN4是YOLOv9中的特征提取模块，类似YOLOv5和v8中的C2f与C3模块。的主要思想： 使用Dynamic Snake Convolution与RepNCSPELAN4中融合。

双目测距是一种利用立体视觉原理来测量物体距离的技术。它基于人眼观察物体时左右眼接收到的图像存在视差（即左右眼图像的差异）这一事实。: 使用两个平行排列的摄像头（模拟人的双眼）同时捕获同一场景的两幅图像。: 由于两个摄像头可能存在镜头畸变，需要对捕获的图像进行校正，以确保图像中物体的位置和形状准确。: 找到左右图像中相同物理点的对应像素。这个过程称为特征匹配或图像配准。: 根据左右图像中匹配点的水平像素差（即视差），计算深度信息。视差与深度成反比，即视差越大，物体越近；视差越小，物体越远。

此代码基于官方代码基础上进行改写，主要是获取zed相机深度画面的深度值，为yolo测距打基础。Zed相机是由Stereolabs公司开发的一种先进的立体视觉相机。这种相机专为计算机视觉和机器学习应用而设计，能够提供高质量的3D捕捉和分析功能。: Zed相机配备有一对垂直排列的传感器，能够捕捉两个略有偏移的图像，从而模拟人的双眼视觉，实现深度感知。: 利用立体成像技术，Zed相机能够实时生成环境的3D模型，这对于机器人导航、增强现实(AR)和虚拟现实(VR)等应用至关重要。

立体校正后的左右两幅图像得到后，匹配点是在同一行上的，可以使用OpenCV中的BM算法或者SGBM算法计算视差图。立体校正利用双目标定的内外参数（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。校正前的左右相机的光心并不是平行的，两个光心的连线就叫基线，像平面与基线的交点就是极点，像点与极点所在的直线就是极线，左右极线与基线构成的平面就是空间点对应的极平面。

YOLO系列算法的核心思想是将目标检测任务视为一个单一的回归问题，直接从图像像素到边界框坐标和类别概率的映射。这种设计使得YOLO能够在保持高精度的同时实现快速的检测速度。输入处理: YOLO接受输入图像并将其划分为一个个格子（grid cell）。每个格子负责预测中心点落在该格子内的目标。边界框预测: 每个格子预测多个边界框（bounding boxes），包括边界框的位置和尺寸。类别预测: 每个边界框还预测一个置信度（confidence），表示边界框包含目标的概率以及预测的类别概率。后处理。

1、支持多边形，矩形，圆，线和点图像标注。2、通过YOLOv5 和 Segment Anything自动标注。3、支持文本检测，识别和KIE(关键信息提取)标注。4、支持英语，越南语，汉语。一、AnyLabeling安装使用Anaconda安装环境。1、安装环境。

--HWC转CHW---扩展维度---numpy转tensor---转float32---预测--NMS--将检测框缩放至原始图尺寸--你需要的功能（截图、画检测框等）加载模型---动态resize图片大小---

detect.py主要有run(),parse_opt(),main()三个函数构成。

因为太多依赖python的各种库，导致自己对YOLO的开发能力有所下降，最近准备重新整理一下YOLO系列的代码以供以后自己查阅。YOLOv5-v7.0将分类脱离出来了。predict.py为分类的推理代码。predict.py主要有run(),parse_opt(),main()三个函数构成。

立体校正利用双目标定的内外参数（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。像点在左右图像上的高度一致。校正前的左右相机的光心并不是平行的，两个光心的连线就叫基线，像平面与基线的交点就是极点，像点与极点所在的直线就是极线，左右极线与基线构成的平面就是空间点对应的极平面。1、将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，叫做左右相机的合成旋转矩阵。

HWD是一种下采样模型，应用了小波变换的方法。ADown是YOLOv9中的下采样模块，对不同的数据场景具有一定的可学习能力。

Yolov8结构图： YoloV8相对于YoloV5的改进点：Replace the C3 module with the C2f module.Replace the first 6x6 Conv with 3x3 Conv in the Backbone.Delete two Convs (No.10 and No.14 in the YOLOv5 config).Replace the first 1x1 Conv with 3x3 Conv in the Bottleneck.

此时我们安装的只是基础的CPU状态，如果需要使用GPU训练，需要在pytorch中找到适合自己的cuda版本的torch口令然后下载。（我用的原博主的，因为我自己选的有问题hhh）一般按照上面操作，环境就配好了。数据集百度网盘链接：链接：https://pan.baidu.com/s/1QktBnMcDdsQaT6JQXBjNPA。我这里租用的是云服务器，因此要配置一些环境（如果是拿自己电脑训练的话，就可以跳过环境配置）。新建my_data.yaml，内容如下：path改为自己的datasets位置。

一、改进点介绍AKConv是一种具有任意数量的参数和任意采样形状的可变卷积核，对不规则特征有更好的提取效果。论文速览：：AKConv是2023年11月发表的一种可变卷积核，赋予卷积核任意数量的参数和任意采样形状，以解决具有固定样本形状和正方形的卷积核不能很好地适应不断变化的目标的问题点可以为网络开销和性能之间的权衡提供更丰富的选择。

我们所说的“VGG式”指的是：没有任何分支结构。即通常所说的plain或feed-forward架构。仅使用3x3卷积。仅使用ReLU作为激活函数。主要创新点为结构重。在训练时，网络的结构是多分支进行的，而在推理时则将分支的参数进行重参数化，合为一个分支来进行的，所以推理的速度要比多分支网络快很多，并且精度也比单分支的网络更高。

论文地址官方源代码地址自从ViT(Vision Transformer)在CV领域大放异彩，越来越多的研究人员开始拥入Transformer的怀抱。回顾近一年，在CV领域发的文章绝大多数都是基于Transformer的，比如2021年ICCV 的best paper Swin Transformer，而卷积神经网络已经开始慢慢淡出舞台中央。卷积神经网络要被Transformer取代了吗？也许会在不久的将来。

京东AI研究院提出的一种新的注意力结构。将CoT Block代替了ResNet结构中的3x3卷积，在分类检测分割等任务效果都出类拔萃论文：Contextual Transformer Networks for Visual Recognition有自注意力的Transformer引发了自然语言处理领域的革命，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。

CBAM注意力机制是由通道注意力机制（channel）和空间注意力机制（spatial）组成。传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。CBAM从 channel 和 spatial 两个作用域出发，引入空间注意力和通道注意力两个分析维度，实现从通道到空间的顺序注意力结构。空间注意力可使神经网络更加关注图像中对分类起决定作用的像素区域而忽略无关紧要的区域，通道注意力则用于处理特征图通道的分配关系，同时对两个维度进行注意力分配增强了注意力机制对模型性能

1.背景介绍为了提高各种计算机视觉任务的性能，人们研究了各种注意机制。然而，以往的方法忽略了保留通道和空间方面的信息以增强跨维度交互的重要性。因此，我们提出了一种全局调度机制，通过减少信息缩减和放大全局交互表示来提高深度神经网络的性能。我们沿着卷积空间注意子模块引入了用于通道注意的多层感知器3D置换。GAMAttention注意力机制原理图对于ImageNet-1K，我们将图像预处理为224×224（He et al.[2016]）。

论文地址Paper本文提出的BoTNet是一种简单高效的网络，有效的将SA应用到多种视觉任务，如图像识别、目标检测、实例分割任务。通过将ResNet50中最后三个bottleneck模块的空间卷积替换为全局的SA操作，有效提升了基线模型在签署任务上的性能。Section I常用的CNN大多采用3x3的卷积核，鉴于卷积操作可以有效的不糊哦局部信息，但是对于一些视觉任务如目标检测、实例分割、关键点检测还需要建立长程依赖关系。比如实例分割中需要收集场景相关的信息才能学习物体之间的关系；

后续会给大家讲解YOLOv8怎么修改。parse_model 注册。模块就不介绍了，直接上干货。common加入以下代码。yaml 配置文件如下。

摘要注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，而权重能够进一步抑制不重要的信道或像素。本文利用权重的贡献因素来改善注意机制。使用一个批处理（BN）归一化的缩放因子，它使用标准偏差来表示权重的重要性。这可以避免添加在SE、BAM和CBAM中使用的全连接和卷积层。因此，提出了一种有效的注意机制——基于标准化的注意模块(NAM)。

YOLOv6 采用了解耦检测头（Decoupled Head）结构，同时综合考虑到相关算子表征能力和硬件上计算开销这两者的平衡，采用 Hybrid Channels 策略重新设计了一个更高效的解耦头结构，在维持精度的同时降低了延时，缓解了解耦头中 3x3 卷积带来的额外延时开销。原始 YOLOv5 的检测头是通过分类和回归分支融合共享的方式来实现的，因此加入 Decoupled Head。为什么要用到解耦头？因为分类和定位的关注点不同；分类更关注目标的纹理内容；定位更关注目标的边缘信息。

今天介绍一篇CPVR19的Oral文章，用二阶注意力网络来进行单图像超分辨率。作者来自清华深研院，鹏城实验室，香港理工大学以及阿里巴巴达摩院。文章的大体思路：提出了一个深的二阶注意力网络SAN，以获得更好的特征表达和特征相关性学习。特别地，提出了一个二阶通道注意力机制SOCA来进行相关性学习。同时，提出了一个non-locally增强残差组NLRG来捕获长距离空间内容信息。在LSRAG的末端，有一个SOCA模块，即二阶通道注意力机制。

由于不同大小的感受野对于不同尺度的目标有不同的效果，论文目的是使得网络可以自动地利用对分类有效的感受野捕捉到的信息。为了解决这个问题，作者提出了一种新的深度结构在CNN中对卷积核的动态选择机制，该机制允许每个神经元根据输入信息的多尺度自适应地调整其感受野（卷积核）的大小。称为“选择性核（Selective Kernel）”，它可以更好地捕捉复杂图像空间的多尺度特征，而不会像一般的CNN那样浪费大量的计算资源。SKN的另一个优点是它可以聚合深度特征，使它更容易理解，同时也允许更好的可解释性。

CA不仅考虑到空间和通道之间的关系，还考虑到长程依赖问题。通过实验发现，CA不仅可以实现精度提升，且参数量、计算量较少。

这是ICCV2019的用于语义分割的论文，可以说和CVPR2019的DANet遥相呼应。和DANet一样，CCNet也是想建模像素之间的long range dependencies，来做更加丰富的contextual information，来补充特征图，以此来提升语义分割的性能。但是和DANet不一样，CCNet仅考虑空间分辨上的建模，不考虑建模通道之间的联系。

ConvNeXt是一种由Facebook AI Research和UC Berkeley共同提出的卷积神经网络模型。它是一种纯卷积神经网络，由标准卷积神经网络模块构成，具有精度高、效率高、可扩展性强和设计非常简单的特点

最近对移动网络设计的研究已经证明了通道注意力（例如，Squeeze-and-Excitation attention）对于提升模型性能的显着有效性，但他们通常忽略了位置信息，这对于生成空间选择性注意力图很重要。在本文中，我们通过将位置信息嵌入到通道注意力中来为移动网络提出一种新的注意力机制，我们称之为“坐标注意力”。与通过 2D 全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个一维特征编码过程，分别沿两个空间方向聚合特征。

为了提高各种计算机视觉任务的性能，人们研究了各种注意机制。然而，以往的方法忽略了保留通道和空间方面的信息以增强跨维度交互的重要性。因此，我们提出了一种全局调度机制，通过减少信息缩减和放大全局交互表示来提高深度神经网络的性能。我们沿着卷积空间注意子模块引入了用于通道注意的多层感知器3D置换。GAMAttention注意力机制原理图对于ImageNet-1K，我们将图像预处理为224×224（He et al.[2016]）。

论文地址：https://arxiv.org/abs/2207.14284代码地址：https://github.com/raoyongming/HorNet视觉Transformer的最新进展表明，在基于点积自注意力的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，作者证明了视觉Transformer背后的关键成分，即输入自适应、长程和高阶空间交互，也可以通过基于卷积的框架有效实现。作者提出了递归门卷积（g n Conv），它用门卷积和递归设计进行高阶空间交互。

YOLOv8和YOLOv5都是一个作者，common变成了conv yolo变成了task 其他都一样。首先common加入以下代码。

Swin-Transformer使用了层级式的骨干网络设计。从较小的Patch尺寸开始，每一阶段不断合并Patch，实现在不同阶段使用不同下采样率的特征图，从而可以输出多尺度的特征信息。