[AI算法][深度学习]：1*1卷积的作用_1*1卷积和mlp区别-CSDN博客

本文链接：https://blog.csdn.net/qq_41897558/article/details/104366627

本文探讨了1x1卷积核在深度学习模型中的重要作用，如NIN和GoogLeNet。1x1卷积不仅能够实现跨通道特征的交互与整合，还能够通过调整通道数进行参数量的优化，有效减少模型复杂度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

$1×11\times1$ 卷积作用？

NIN(Network in Network)是第一篇探索 $1×11\times1$ 卷积核的论文，这篇论文通过在卷积层中使用MLP替代传统线性的卷积核，使单层卷积层内具有非线性映射（激活函数）的能力，也因其网络结构中嵌套MLP子网络而得名NIN。NIN对不同通道的特征整合到MLP自网络中，让不同通道的特征能够交互整合，使通道之间的信息得以流通，其中的MLP子网络恰恰可以用 $1×11\times1$ 的卷积进行代替。

GoogLeNet则采用 $1×11\times1$ 卷积核来减少模型的参数量。在原始版本的Inception模块中，由于每一层网络采用了更多的卷积核，大大增加了模型的参数量。此时在每一个较大卷积核的卷积层前引入 $1×11\times1$ 卷积，可以通过分离通道与宽高卷积来减少模型参数量。

以图1为例，在不考虑参数偏置项的情况下，若输入和输出的通道数为 $C_1=16$ ，则左半边网络模块所需的参数为 $(1×1+3×3+5×5+0)×C1×C1=8960(1\times1+3\times3+5\times5+0)\times C_1\times C_1=8960$ ；
假定右半边网络模块采用的 $1×11\times1$ 卷积通道数为 $C_2=8$ $满足C_1>C_2)$ ，则右半部分的网络结构所需参数量为 $(1×1×(C1+3C2)+3×3×C2+5×5×C2)×C1=5248(1\times1\times (C_1+3C_2)+3\times3\times C_2 +5\times5\times C_2)\times C_1=5248$ ，
可以在不改变模型表达能力的前提下大大减少所使用的参数量。