第五十章 解读交叉熵损失函数的求导(sigmoid和softmax)

原创 已于 2024-01-20 09:13:21 修改 · 1.2k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #人工智能

于 2023-12-22 15:56:54 首次发布
本文详细介绍了交叉熵在机器学习中的应用，特别是在神经网络分类问题中的重要性，讨论了二分类和多分类的交叉熵公式，以及与sigmoid/softmax函数的关系。它还涵盖了softmax函数、损失函数的计算和梯度推导过程，以及非负性和输出接近目标时的特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

文章目录

    • 引言
    • 基本性质
    • 二分类交叉熵
    • Softmax 多分类交叉熵
    • 另一版推导(包含向量表示形式)

交叉熵，顾名思义，取的是两者交叉的熵值；而在机器学习中的所谓两者，自然是真实分布（或实际输出概率）与预测分布（或期望输出概率），通过熵值计算的方法来刻画两者距离，可以评估两个概率分布（或特征工程里的两个特征变量）的相似度。当交叉熵的值越小时，两个概率分布也就越接近，实际与期望的差距也就越小。

作为一类重要的损失函数，交叉熵较常用于分类问题，特别是神经网络的分类问题。与平方损失函数相比较，由于学习速率可以被输出误差所控制的缘故，交叉熵能在梯度下降时避免均方误差损失函数学习速率降低的问题，有着更为出色的效果。除此之外，由于交叉熵的计算涉及到各个类别的概率，所以说起交叉熵几乎与sigmoid/softmax函数形影不离，这些我们都会在下文中一一印证。

下面我们以神经网络最后一层输出为例，看一下交叉熵的具体应用场景：

（1）在神经网络的最后一层里，我们首先得到了每个类别的得分scores；

（2）这个得分经过sigmoid(或softmax)函数的变换会获得一个概率输出；

（3）将得到的概率输出与真实类别的one hot形式进行交叉熵损失函数的计算。

基本性质

当问题为二分类问题时，交叉熵的损失函数形式为：

L=−[ylog(p)+(1−y)log(1−p)]L=-[ylog(p)+(1-y)log(1-p)]L=−[ylog(p)+(1−y)log(1−

最低0.47元/天 解锁文章

新学期VIP享超值加赠
小知识点系列(二十五) 本文(2500字) | 解读交叉熵损失函数的求导(sigmoid和softmax) |
专注于人工智能学习，总结
01-03 1021
人工智能专栏 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习中交叉熵函数的导数:(极简)
2302_76774649的博客
03-08 1608
另一个博主有更详细的推导。
交叉熵代价函数(损失函数)及其求导推导 (Logistic Regression)
jasonzzj的博客
07-25 11万+
前言 交叉熵损失函数 交叉熵损失函数的求导 前言 说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(...
交叉熵求导
luoganttcc的博客
07-11 566
. 输入为z向量，z=[z1,z2,...,zn]z=[z_{1},z_{2},...,z_{n}]z=[z1​,z2​,...,zn​]，维度为（1，n）输出s=[e1∑k=1nek,e2∑k=1nek,...,en∑k=1nek]s=[\frac{e^{1}}{\sum_{k=1}^{n}e^{k}},\frac{e^{2}}{\sum_{k=1}^{n}e^{k}},...,\frac{e^{n}}{\sum_{k=1}^{n}e^{k}}]s=[∑k=1n​eke1​,∑k=1n​eke2​,...
交叉熵求导(预测函数为softmax)
qq_35985044的博客
10-29 300
交叉熵损失函数求导
weixin_43507046的博客
04-20 1020
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M...
【人工智能之深度学习】3. 损失函数选择指南：交叉熵与MSE的数学原理及适用场景深度剖析（附PyTorch实战）
最新发布
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
07-20 750
摘要 本文系统分析了深度学习中的核心损失函数——交叉熵（CE）与均方误差（MSE）的数学原理及适用场景。从理论层面推导了MSE的欧氏空间距离度量特性（$L_{MSE}=\frac{1}{2n}\sum||y-\hat{y}||2^2$）及其梯度表达式（$\nabla{\hat{y}}L=\hat{y}-y$），揭示了交叉熵与KL散度的本质关联（$D_{KL}(P||Q)=L_{CE}-H(P)$）。
PyTorch损失函数的理论基础：从概率论到统计学习
![PyTorch损失函数的理论基础：从概率论到统计学习]...首先介绍了概率论基础与损失函数的概念，包括其定义、分类和选择标准。随后，本文分析了损失函数对模型性能的影响，
softmax的交叉熵导数推导.docx
05-16
本文为softmax 的交叉熵 求导公式，来源于斯坦福cs224n 其中一题
交叉熵损失导数推理
zhaoguanhua的博客
04-14 6762
在深度学习网络训练中，交叉熵损失是一种经常使用的损失函数，这篇文章里我们来推导一下交叉熵损失关于网络输出z的导数，由于二分类是多分类的特殊情况，我们直接介绍多分类的推导过程。 一、Softmax交叉熵损失求导 基于softmax的多分类交叉熵公式为 LSCE=−∑j=1Cyjlog⁡(pj)L_{S C E}=-\sum_{j=1}^{C} y_{j} \log \left(p_{j}\right)LSCE​=−j=1∑C​yj​log(pj​) 其中CCC表示类别总数，包含背景类别，pjp_jpj​通过S
交叉熵代价函数 求导过程
widon1104的专栏
10-20 3289
derivative of cost function for Logistic Regression I am going over the lectures on Machine Learning at Coursera. I am struggling with the following. How can the partial derivative of
交叉熵（cross-entropy）损失函数求导过程推导
河山入梦来的博客
07-01 2万+
交叉熵（cross-entropy）损失函数求导过程推导1. 什么是交叉熵？1.1 熵1.2 KL散度1.3 交叉熵2. 关于softmax函数3. 推导过程3.1 关于softmax的求导3.2 关于cross-entropy的求导功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...
损失函数基础——交叉熵函数二分类推导整理
weixin_43903820的博客
02-22 733
二分类推导 Logistics Regression 先从线性回归开始 hw(xi)=w0+w1x1+wx2+…+wnxnh _ { w } \left( x ^ { i } \right) = w _ { 0 } + w _ { 1 } x _ { 1 } + w x _ { 2 } + \ldots + w _ { n } x _ { n }hw​(xi)=w0​+w1​x1​+wx2​+…+...
交叉熵代价函数(损失函数)及其求导推导
xiaocong1990的博客
09-06 4336
链接：https://blog.csdn.net/jasonzzj/article/details/52017438   前言 说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。  首先，我们二话不说，先放出交叉熵的公式：  J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1m...
多分类Softmax和交叉熵的求导
weixin_45504064的博客
03-25 316
多分类模型的输出层一般通过一个Softmax，之后使用交叉熵作为损失函数进行反向传播。本文主要对多分类模型中输出层的结果求偏导，为后续计算模型反向传播打下基础。
softmax中交叉熵的求导法则
weixin_45718987的博客
11-05 249
交叉熵求导
二分类交叉熵损失函数推导及其求导过程
QQ_2642160196的博客
03-29 3035
假设函数 更为一般的表达式： 似然函数： 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数： 对J(w)求极小值，对求导 上述求导要用到 π(z)’ = π(z)(1-π(z)),其中π(z)为sigmoid函数（也叫logistic函数），z=w^Tx+b,我们将这些带入求导公式中运算即可得到结果。 上述中 xi,j表示第i个样本的第...
交叉熵损失函数及其导数
2401_86968005的博客
02-23 797
交叉熵损失函数（Cross-Entropy Loss）是分类问题中常用的损失函数，特别是在多类分类问题中。L−ylogy​1−ylog1−y​)]其中，y是真实标签（0或1），y​是模型预测的概率（介于0和1之间）。L−i1∑C​yi​logy​i​其中，( C ) 是类别的数量，( y_i ) 是第 ( i ) 类的真实标签（one-hot编码），( \hat{y}_i ) 是模型预测的第 ( i ) 类的概率。
交叉熵损失函数求导结果
03-18
首先，我得回忆一下交叉熵损失函数的定义以及它在不同激活函数下的应用，比如sigmoid和softmax。根据用户提供的引用，特别是引用[1]、[2]、[3]、[4]，用户可能希望了解两种情况下的求导过程。 首先，交叉熵损失函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值