微调策略：增加模型容量提升适应性

"本文主要探讨了通过增加模型容量进行微调的方法，以提高神经网络，尤其是深度卷积神经网络（CNN）在目标任务上的自适应能力。研究指出，经典微调策略是将预训练的CNN在网络的最后一层进行调整，以适应新的任务。然而，作者提出了一种新的方法，即通过在网络中添加更多层或扩大现有层的容量来‘生长’CNN，以实现更自然的模型自适应。他们强调了在增加新单元时，适当规范化的必要性，以保持与现有单元一致的学习速度。实验结果表明，这种方法在多个基准数据集上产生了最先进的结果，证明了其有效性和优越性。" 在计算机视觉领域，深度学习，特别是深度卷积神经网络（CNN），已经取得了显著的成就，尤其是在大型注释数据集如ImageNet上预训练的模型可以有效地迁移到其他任务。然而，当面临新的类别或任务时，需要大量的标注数据重新训练模型通常是不切实际的。因此，微调成为了一个关键的迁移学习策略，即在预训练模型的基础上，针对新任务替换和微调最后的分类层。 传统的微调方法通常限制了模型容量的改变，但研究表明，增加模型容量可以进一步提升模型的自适应能力。通过在网络中添加额外的层或扩大现有层的宽度（增加通道数），可以“生长”CNN，使其更好地适应目标数据集。这种生长策略与儿童的大脑发展相类比，强调了结构的动态变化对学习的重要性。然而，新增加的单元必须被正确地规范化，以确保与原有单元的学习速率同步，避免破坏原有的学习状态。 文章中提到的实验结果显示，这种增加模型容量的微调方法在几个标准数据集上都超越了传统的微调方法，显示出在视觉识别任务中的优势。这意味着，对于那些没有大量标注数据的新任务，通过适当扩展预训练模型的结构，可以更有效地利用预训练知识，达到更好的性能。 这篇工作对深度学习社区有着重要的启示，它鼓励研究者探索模型结构的动态调整，而非仅仅局限于微调预训练模型的权重。通过这种方式，可以更充分地利用预训练模型的泛化能力，同时提升在特定任务上的性能，这对于资源有限的环境或新的细分领域尤为重要。