卷积网络剪枝：Network Slimming技术解析
本文介绍了2017年ICCV论文《Learning Efficient Convolutional Networks through Network Slimming》中的卷积网络剪枝方法，通过BN层的gamma参数评估并剪枝卷积核。在实验中，L1正则化用于约束gamma参数，并在剪枝后进行微调。尽管在CIFAR-10和CIFAR-100上展示了良好的压缩和加速效果，但如何在硬件实现中设计和应用这些剪枝后的网络仍是一个挑战。
paper：Learning Efficient Convolutional Networks through Network Slimming
这是一篇做剪枝的paper，2017的ICCV文章。
主要亮点在于直接使用BN层的gamma参数进行剪枝评估。在卷积核的级别做剪枝，非常方便好用。
问题：
这篇paper中，Lamda的选择标准和阈值标准没有给出，应该就是作者实验试出来的。
因此，lamda能不能通过网络学习得到呢，这样其实更实用。
Idea
先看Batch Norm（BN）:
上图是剪枝的示意图，可以看到，是在卷积核层面进行的剪枝。
一般情况下的网络剪枝是通过额外增加一些对原网络层的计算，得到卷积层的重要性信息。
Network Slimming：想法比较巧妙，通过BN层gamma参数进行重要性评估。（每一个channel有一个gamma值，作者认为gamma值反映了该通道的重要性）。
剪枝的过程就是将小的值对应的卷积核减掉。
如上图，橙色对应的部
最低0.47元/天 解锁文章
扫一扫
1997
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
