python工具方法35 实现SWA，再一次提升模型的性能

最新推荐文章于 2024-02-27 11:03:42 发布

万里鹏程转瞬至

最新推荐文章于 2024-02-27 11:03:42 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python工具方法

本文链接：https://blog.csdn.net/a486259/article/details/126966337

python工具方法专栏收录该内容

52 篇文章 ¥49.90 ¥99.00

订阅专栏

SWA是一种优化模型的方法，通过平均权重提高模型性能。本文介绍了如何在训练中和结束后使用SWA，特别是在PyTorch和PaddlePaddle框架下的实现，以及在mmdetection和paddledetection中的应用。实验证明，SWA可以提升模型的map值，对于带有BN层的模型，需要更新BN层参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SWA是论文Averaging Weights Leads to Wider Optima and Better Generalization所提出的一种无痛涨点的方式，只需要在模型训练的最后阶段保存模型权重，然后取模型权重的平均值，就可以提升模型的权重。按照论文描述，针对不同的模型基本上可以涨一个点。论文：SWA Object Detection详细描述了实验SWA后，模型的涨点效果。

SWA的论文翻译：https://github.com/timgaripov/swa
SWA的项目地址：https://github.com/timgaripov/swa

为此，博主根据论文描述和SWA作者公布的源码，仿照ema的模型增强技术代码，重新实现了swa。这里的实现支持torch、paddle（博主亲测，tf2模型也应该是支持的，只是要修改权重加载与保存的部分）。这里的实现是针对模型权重，对于pytorch的mmdetection框架，paddle的paddledetection框架中的模型都是支持的。博主亲测，用swa提升了0.5的map。

按照swa论文所述，当模型带bn层时，swa_model中的bn层参数需要重新更新。因此，博主刻意实现了一个forward函数，用于更新bn层的参数【针对mmdetection、paddledetection等框架时无效】。