第二十四篇 DenseNet——模型讲解

摘要

在深度学习网络中，随着网络深度的加深，梯度消失问题会愈加明显，目前很多论文都针对这个问题提出了解决方案，比如ResNet，Highway Networks，Stochastic depth，FractalNets等，尽管这些算法的网络结构有差别，但是核心都在于使用shotcut将浅层和深层链接起来。那么DenseNet是怎么做呢？延续这个思路，那就是在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来！整体架构如下图：

参数结构如下表：

DenseNet的优点：

• 减轻了梯度消失。
• 加强了feature的传递，更有效地利用了feature。
• 一定程度上较少了参数数量。

DenseNet有个缺点，就是特别的消耗显存，不过在后期的模型中修改了，但是这种连接方式和ResNet相比，显存的占用还是很明显。近几年，显卡的技术飞速发展，显存提升很大，所以这个缺点可以忽略！

作为CVPR2017年的Best Paper，DenseNet值得我们深入研究研究！