第十周 SENet

最新推荐文章于 2024-04-12 07:43:19 发布

原创

最新推荐文章于 2024-04-12 07:43:19 发布 · 326 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习

这篇博客介绍了SENet（Squeeze-and-Excitation Networks）中的注意力机制，讨论了Reduction ratio的作用，并探讨了SE-Module在ResNet中的四种嵌入方式。SEBlock通过生成通道维度的权重向量，增强了模型的表征能力，提高了模型性能。此外，博主分享了从SENet论文中获得的启示，包括在不同数据集上验证模型、优化Reduction ratio、理解低维嵌入以及训练技巧等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：文字回答：用自己的语言描述注意力机制的方式（最好有图）？
答：注意力机制的方式描述如下：
首先先来了解一下注意力的概念，注意力就是指人的心理活动指向和集中于某种事物的能力。比如说，第一眼看到一只狗，一只猫，看到猫狗的过程就是一个注意力机制的过程。当你注意力在狗的时候，你的大脑会给与该区域更多的关注。
在这里插入图片描述
注意力机制来源于人类大脑，并被引入NLP技术中，然后才被运用到CV领域。从数学角度看，注意力机制即提供一种权重模式进行计算。神经网络中，注意力机制即利用一些网络层计算得到特征图对应的权重值，对特征图进行“注意力机制”。

2：文字回答：Excitation中的Reduction ratio是什么意思？有什么作用？
答：Reduction ratio是一个重要的参数，其中关于r的有对比实验，经验值为16，其作用是控制第一个全连接层神经元个数，进而影响SE Block的参数量。

3：文字回答：SE-Module嵌入ResNet中有几个方式？
答： SE-Module嵌入ResNet有四种方式，如下图所示：
在这里插入图片描述
针对这四种方式，实验表明精度差别不大，从而得出结论:SE Block很鲁棒。

4：文字回答：读完该论文，对你的启发点有哪些？
答：1. 本文提出SE模块生成通道维度的权重向量，用于特征“重构”，实现强调重要特征，忽略不重要特征，增强模型表征能力，提高模型性能。
2. 设计一系列实验验证SE Block的有效性，特别是Ablation Study方法十分指的借鉴学习。
3. 本文研究通道之间的关系，表明模型的发展已