深度学习中的标签平滑正则化（Label Smoothing Regularization）方法原理详解

最新推荐文章于 2025-07-08 09:21:00 发布

原创

最新推荐文章于 2025-07-08 09:21:00 发布 · 1.4w 阅读

117 ·

CC 4.0 BY-SA版权

文章标签：

#Lable Smoothing #标签平滑

标签平滑正则化（LSR）用于解决深度学习中过度依赖正确标签的问题，通过引入平滑因子使得模型考虑错误标签的损失，提高泛化能力。LSR公式为y'=(1-ϵ)*y+ϵ*u，其中y是原始one-hot标签，u是均匀分布，ϵ是平滑因子。这种方法可以应用于涉及交叉熵损失的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文：https://arxiv.org/pdf/1512.00567.pdf

(一)、为什么有标签平滑正则化（Label Smoothing Regularization, LSR）的方法?
在深度学习样本训练的过程中，我们采用one-hot标签去进行计算交叉熵损失时，只考虑到训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略了错误标签位置（one-hot标签为0的位置）的损失。这样一来，模型可以在训练集上拟合的很好，但由于其他错误标签位置的损失没有计算，导致预测的时候，预测错误的概率增大。为了解决这一问题，标签平滑的正则化方法便应运而生。

(二)、标签平滑是如何实现的?
(1). 传统的softmax公式如下： ${p_{i}=\frac{e^{z_i}}{\sum_{i=1}^n{e^{z_i}}}\tag{2.1}}$ 其中 $p_i$ 为当前样本属于类别 $i$ 的概率， $z_i$ 指的是当前样本的对应类别 $i$ 的 $l o g i t$ ， $n$ 为样本类别总数，则我们可以得到交叉熵（cross entropy）损失： ${loss=-\frac{1}{m}\sum_{k=1}^m\sum_{i=1}^n{y_ilogp_i}\tag{2.2}}$