SENET通道注意力机制源代码+注释

小馨馨的小翟

已于 2022-05-03 09:30:02 修改

阅读量3.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：笔记文章标签：深度学习 pytorch cnn

于 2022-02-03 11:02:46 首次发布

本文链接：https://blog.csdn.net/qq_43215597/article/details/122774604

笔记专栏收录该内容

84 篇文章

订阅专栏

本文介绍了一种将注意力机制应用于传统卷积神经网络（CNN）的方法，通过实现SENet（Squeeze-and-Excitation Networks）来提升模型性能。代码中展示了SENet的结构，包括全局平均池化、全连接层和sigmoid激活函数，用于计算权重并加权输入特征。实验中，SENet被应用到3通道的输入图像上，输出结果尺寸保持不变。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import torch
import torch.nn as nn


class SENET(nn.Module):
    def __init__(self, channel, r=0.5):  # channel为输入的维度, r为全连接层缩放比例->控制中间层个数
        super(SENET, self).__init__()
        # 全局均值池化
        self.global_avg_pool = nn.AdaptiveAvgPool2d(1)
        # 全连接层
        self.fc = nn.Sequential(
            nn.Linear(channel, int(channel * r)),  # int(channel * r)取整数   #通道压缩
            nn.ReLU(),          #relu激活函数进行激活 （）激励
            nn.Linear(int(channel * r), channel),     #展开
            nn.Sigmoid(),  #折算成0到1之间的权重
        )

    def forward(self, x):
        # 对x进行分支计算权重, 进行全局均值池化
        branch = self.global_avg_pool(x)   #前向传播先平均池化
        branch = branch.view(branch.size(0), -1)   #展开

        # 全连接层得到权重
        weight = self.fc(branch)    #经过全连接得到权重

        # 将维度为b, c的weight, reshape成b, c, 1, 1 与 输入x 相乘 即乘以权重
        hi, wi = weight.shape
        weight = torch.reshape(weight, (hi, wi, 1, 1))

        # 乘积获得结果
        scale = weight * x    #weight为权重 x为输入的  输出结果
        return scale
# alexnet1.add_module("linear",nn.Linear(1000 , 10))
alexnet1 = SENET(channel = 3) #通道数等于输入图片的通道数
print(alexnet1)
test1 = torch.ones(64, 3, 120, 120)  #输入64batch  3通道 120*120的图片

test1 = alexnet1 (test1)
print(test1.shape)   #输出无变化

本人尝试将注意力机制作为trick加入传统的CNN卷积神经网络进行优化，后面会陆续公布相应的代码和经验 未完待续...........