softmax交叉熵损失函数深入理解（二）

最新推荐文章于 2025-07-09 23:23:50 发布

机器猫001

最新推荐文章于 2025-07-09 23:23:50 发布

阅读量9k

点赞数 16

CC 4.0 BY-SA版权

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_61363749/article/details/126286547

0、前言

前期博文提到经过两步smooth化之后，我们将一个难以收敛的函数逐步改造成了softmax交叉熵损失函数，解决了原始的目标函数难以优化的问题。Softmax 交叉熵损失函数是目前最常用的分类损失函数，本博文继续学习Softmax 交叉熵损失函数的改进，详细的理论参考论文《基于深度学习的人脸认证方法研究》，这篇论文真的太棒了，是我见过最优秀的专门针对损失函数进行深入研究的杰作。

1、Softmax 交叉熵损失函数

（1）Softmax 交叉熵损失函数表达

将样本分为 C 个类别，在使用 Softmax 交叉熵损失时，需要将神经网络的最后一层输出设置为 C。设置理想向量 $q=[q_{1},q_{2},...,q_{c}]$ , Softmax 交叉熵损失函数表示如下：

$\l _{s}=-\sum q_{i}logp_{i}$

其中： $P_{i}=\frac{e^{z_{i}}}{\sum(e^{z_{i}})}$

Softmax 交叉熵损失函数实际上分为两步：

1）求 Softmax ：得到当前样本属于某类别的概率 $P_{i}=\frac{e^{z_{i}}}{\sum(e^{z_{i}})}$

2）求交叉熵损失

将1）计算所得概率与理想向量求交叉熵：

①如果理想向量为 One-hot 向量，即仅在第 y 个位置为 1，其他部分为 0，所以最终只保留了第 y 个位置的交叉熵。此时的Softmax 交叉熵损失函数表示为：

$\l _{s}=-logp_{y}$

梯度为：

②如果理想分布不再是 One-hot 向量，而是一组其他概率值时 $q=[q_{1},q_{2},...,q_{c}]$ ，交叉熵损失函数为：

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。