ICML 2021 | SimAM 无参注意力机制!(keras实现)

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks 

中山大学

paper:http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

code: https://github.com/ZjjConan/SimAM

摘要

提出了一个概念上简单但非常有效的卷积神经网络(ConvNets)的注意机制模块。与现有的通道和空间注意模块相比，为特征层中的特征映射推断三维注意权值（即考虑空间和通道维度），而不在原始网络中添加参数。具体地说，基于一些神经科学理论优化一个能量函数，以找到每个神经元的重要性。进一步推导了能量函数的一个快速闭环形式的解，并证明了该解可以在小于十行的代码中实现。该模块的另一个优点是，大多数操作运算都是基于所定义的能量函数的解来选择的，从而避免了过多的结构调整。对各种视觉任务的定量评估表明，该模块能够灵活、有效地提高许多ConvNets的表示能力。

论文主要思想

作者认为影像注意力机制模块的一个重要因素是，权值生成方式，现有注意力往往通过子网络生成注意力权重，例如：SE通过GAP+FC