【YOLOv10改进 - 注意力机制】NAM：基于归一化的注意力模块，将权重稀疏惩罚应用于注意力机制中，提高效率性能

YOLOv10目标检测创新改进与实战案例专栏

改进目录: YOLOv10有效改进系列及项目实战目录：卷积，主干 注意力，检测头等创新机制

专栏链接: YOLOv10 创新改进有效涨点

介绍

摘要

识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

NAM (Normalization-based Attention Module)是一种新颖的注意力机制，旨在通过抑制不太显著的特征来提高模型的效率。NAM模块将权重稀疏惩罚应用于注意力机制中，以提高计算效率同时保持性能。NAM模块通过批量归一化（Batch Normalization）的缩放因子来衡量通道的重要性，避免了SE（Squeeze-and-Excitation）、BAM（Bottleneck Attention Module）和CBAM（Convolutional Block Attention Module）中使用的全连接和卷积层。这使得NAM成为一种高效的注意力机制。

NAM模块结合了通道注意力和空间注意力的子模块，利用批量归一化的缩放因子来衡量通道和像素的重要性，从而实现对特征的有效识别和利用。

1. 通道注意力子模块：使用批量归一化的缩放因子来衡量通道的重要性，通过计算权重来获得输出特征。

​

1. 空间注意力子模块：应用像素归一化来衡量像素的重要性，得到输出特征。