当前神经网络剪枝领域的研究缺乏标准化基准和度量，导致比较不同剪枝技术困难。尽管剪枝能有效压缩网络而不牺牲精度，但多数论文缺乏相互比较，评估指标、方法和超参数各异。剪枝涉及网络结构、评分、调度和微调策略的选择，旨在平衡模型效率和质量。然而，评估指标如FLOPs和精度并不能全面反映实际性能。未来需要更多直接对比和标准化实验来推进剪枝技术的发展。
WHAT IS THE STATE OF NEURAL NETWORK PRUNING?
Source：https://arxiv.org/abs/2003.03033
一、摘要：
缺乏标准化的基准和度量标准，以至于很难比较不同的剪枝技术，提出具体的补救措施，并引入ShrinkBench，一个框架来促进修剪方法的标准化评估。
尝试去回答：
哪种技术能最好地兼顾精确性和效率?
在特定的架构或数据集上，是否有最有效的策略?
哪种高级设计选择是最有效的?
二、存在的问题
通过调研81篇论文。(语料库包括2010年以来发表的79篇剪剪论文和两篇经典论文。)
发现，的确，基于其参数大小的剪枝实质上压缩了网络而不降低精度，而且许多剪枝方法的性能优于随机剪枝。
但是,
很少有论文互相比较，而且论文之间的方法是不一致，自己很难进行比较。
例如，四分之一的论文与没有其他修剪方法相比，一半的论文与最多一种其他方法相比，还有几十种方法从未被任何后续工作进行过比较。数据集/网络对甚至在三分之一的论文中都没有出现，评估指标差异很大，超参数和其他混杂因素也各不相同或未指定。
三、什么是网络剪枝？
剪枝算法的一般流程：
首先训练网络的收敛性。然后对网络中的每个参数或结构元素给出一个分数，并根据这些分数对网络进行剪枝。修剪会降低网络的准确性，因此需要进一步训练(称为微调)来恢复。修剪和微调的过程通常要重复多次，从而逐渐减小网络的规模。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
