Ghost模块

Ghost Module是一种模型压缩方法,能在保证网络精度的同时,减少网络参数和计算量,提升计算速度、降低延时。它可代替现有卷积网络中的卷积层,通过少量计算生成大量特征图,利用线性变换增强模型特征提取能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Ghost Module是一种模型压缩的方法,可以用更少的参数生成更多的特征图,即在保证网络精度的同时减少网络参数和计算量,从而提升计算速度(speed),降低延时(latency)。

Ghost 模块可以代替现有卷积网络中的每一个卷积层。

Ghost Module原理

通过对比分析ResNet-50网络第一个残差组(Residual group)输出的特征图可视化结果,发现一些特征图高度相似(如Ghost一般,下图中的三组box内的图像对)。如果按照传统的思考方式,可能认为这些相似的特征图存在冗余,是多余信息,想办法避免产生这些高度相似的特征图。
在这里插入图片描述
但本文思路清奇,推测CNN的强大特征提取能力和这些相似的特征图(Ghost对)正相关,不去刻意的避免产生这种Ghost对,而是尝试利用简单的线性操作来获得更多的Ghost对,以增强模型的特征提取能力。

作者提出一个仅通过少量计算(论文称为cheap operations)就能生成大量特征图的结构——Ghost Module。而cheap operations就是线性变换,论文中采用卷积操作实现。具体过程如下:

  • 使用比原始更少量卷积运算,比如正常用64个卷积核,这里就用32个,减少一半的计算量。
  • 利用深度分离卷积,从上面生成的特征图中变换出冗余的特征。
  • 上面两步获取的特征图concat起来输出,送入后续的环节。

如下图所示,假设原始卷积操作中输入Input与n组kxk的Kernel卷积后生成通道数为n,尺寸为h’xw’大小的输出。在ghost模型中,我们用m组kxk的Kernel与input进行卷积,生成mxh’xw’的本征图intrinsic,之后本征图进行线性变换Φ产生ghost图,将intrinsic和ghost一起作为输出。
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JoannaJuanCV

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值