SK 注意力模块 原理分析与代码实现

本文详细介绍了SK注意力模块,一种通道注意力模块,适用于视觉模型,能提升模型精度。SK模块基于SE模块改进,通过不同尺寸的卷积核自动选择特征,实现通道注意力。文中还提供了SK模块的实现代码和在模型中的应用示例。

前言

本文介绍SK模块,一种通道注意力模块,它是在SK-Nets中提出的,SK-Nets是2019 CVPR中的论文;SK模块可以被用于CV模型中,能提取模型精度,所以给大家介绍一下它的原理,设计思路,代码实现,如何应用在模型中。

一、SK 注意力模块

SK 注意力模块,它是一种通道注意力模块;常常被应用与视觉模型中。支持即插即用,即:它能对输入特征图进行通道特征加强,而且最终SK模块输出,不改变输入特征图的大小。

  • 背景:它在SE注意力模型的基础上进行改进;SK在学习通道注意力信息中,通过网络自己学习,来选择融合不同感受野的特征图信息
  • 设计:SK是Selective Kernel的缩写,意思是选择卷积核,它能使用不同
SK注意力模块和SE注意力模块是视觉模型中常用的通道注意力模块SK模块在SE模块的基础上进行了改进。SK模块能够对输入特征图进行通道特征加强,而且最终的输出不改变输入特征图的大小。 SK注意力模块的设计思想是选择卷积核,它能使用不同尺寸的卷积核来提取特征,然后自动选择合适的卷积核所提取的信息。这样做的好处是,不同大小的感受视野(卷积核)对不同尺度的目标会有不同的效果。 SE注意力模块是一种常见的通道注意力模块,它通过学习网络自动选择融合不同感受野的特征图信息。SE模块能够对输入特征图中的不同通道进行加权,以增强有用的特征并抑制无用的特征。 综上所述,SK注意力模块和SE注意力模块都是用来提升视觉模型性能的通道注意力模块SK模块通过选择不同尺寸的卷积核来提取特征,SE模块通过学习网络自动选择融合不同感受野的特征图信息。它们都能够增强有用的特征,提升模型的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [SK 注意力模块 原理分析代码实现](https://blog.csdn.net/qq_41204464/article/details/127334477)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [matlab注意力机制](https://download.csdn.net/download/weixin_44603934/87251899)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗小树x

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值