Python学习-softmax+crossEntropyLoss

原创 已于 2022-10-20 11:28:46 修改 · 889 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #学习 #深度学习

于 2021-02-16 17:22:02 首次发布
本文介绍了Python深度学习中softmax函数的作用、log_softmax的溢出解决方案以及nn.CrossEntropyLoss与nn.NLLLoss的差异。内容涵盖softmax的定义、优缺点，log_softmax的数学等价性和稳定性问题，以及在PyTorch中如何使用这些函数进行损失计算。通过实例解析了CrossEntropyLoss如何结合softmax和nll_loss，并讨论了它们在训练过程中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

简介

公式

使用

代码

参考

简介

公式

softmax

  • 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是

输出是一个概率分布: 每个元素都是非负的, 并且每行/列所有元素的总和都是1，每个值都是0-1.

  • 优点是进行归一化
  • 缺点是容易溢出

log_softmax

  • 在softmax的结果上再做多一次log运算，全都是负数。,虽然在数学上等价于log(softmax(x))，但做这两个 单独操作速度较慢，数值上也不稳定
  • 解决softmax的溢出问题

nn.CrossEntropyLoss() 与 NLLLoss()

  • NLLLoss 的 输入 是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络的最后一层是log_softmax. 
  • 损失函数 nn.CrossEntrop
最低0.47元/天 解锁文章

200万优质内容无限畅学
CrossEntropy交叉熵损失函数及softmax函数的理解
qq_44629163的博客
04-22 1万+
参考链接1 参考链接2 参考链接3 （一）什么是Sigmoid函数和softmax函数？ 1、提到二分类问题容易想到逻辑回归算法，而逻辑回归算法最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数和softmax函数刚好具有这样的功能。 2、Sigmoid函数 当分类结果可以只用一个节点表述时，使用Sigmoid函数： ...
交叉熵损失函数python_交叉熵损失函数nn.CrossEntropyLoss()
weixin_42697475的博客
01-30 3222
nn.CrossEntropyLoss()1.引言在使用pytorch深度学习框架做多分类时，计算损失函数通常会使用交叉熵损失函数nn.CrossEntropyLoss()2. 信息量和熵信息量：它是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设$X$是一个离散型的随机变量，其取值集合为$X$ = $x_0，x_1，，，x_n$,其概率分布函数为...
CrossEntropyLoss（交叉熵损失）​、NLLLoss（负对数似然损失）与LogSoftmax深度解析以及三者之间的联系
最新发布
weixin_67868534的博客
07-02 2092
本文深度解析PyTorch中的三个重要损失函数组件：nn.CrossEntropyLoss、nn.NLLLoss和nn.LogSoftmax。通过数学原理和代码验证表明，CrossEntropyLoss实质上是LogSoftmax与NLLLoss的组合，两者计算结果严格等价。文章详细对比了三者的输入要求、功能特点及适用场景：LogSoftmax用于生成对数概率，NLLLoss计算负对数似然损失，而CrossEntropyLoss作为更优选择，能直接处理原始logits，具有计算高效、数值稳定等优势。同时介绍
关于Logistic Regression、Softmax Loss和Cross-entropy的随笔
ycsun的博客
04-29 3965
最近看深度学习图像分类的相关知识的时候，发现对于Softmax损失函数的相关概念没有搞明白，因此讲设计到的相关知识一些梳理，供大家参考。 本文以CIFAR-10数据集图片分类任务为例展开，定义第ii 个输入样本xix_{i} ，输出yiy_{i} ，图片共有10类（k=0,1,...,c,c=9k=0,1,...,c, c=9） Logistic RegressionLogistic Regre
【机器学习】——为什么softmax搭配cross entropy是解决分类问题的通用方案？
努力学挖掘机的李某某的博客
04-18 1127
众所周知，softmax+cross entropy是在线性模型、神经网络等模型中解决分类问题的通用方案，但是为什么选择这种方案呢？它相对于其他方案有什么优势？笔者一直也困惑不解，最近浏览了一些资料，有一些小小心得，希望大家指正~ 损失函数：交叉熵Cross Entropy 我们可以从三个角度来理解cross entropy的物理意义 从实例上直观理解 我们首先来看Cross Entropy 的公...
loss函数涉及的softmax 、cross encropy和softmaxwithloss
wonengguwozai的博客
07-01 6769
相关内容参考：https://blog.csdn.net/u014380165/article/details/77284921 1、softmax 函数： 定义： 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的Softmax值就可以用以上公式表示。也就是说，是该元素的指数，与所有元素指数和的比值。（是不是很简单） 知乎上有人用下图的方式解释了softmax函数： ...
多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
BrightLamp的博客
11-14 4512
相关 有关 softmax 的详细介绍, 请参考 : BrightLamp. softmax函数详解及反向传播中的梯度求导[EB/OL]. https://blog.csdn.net/oBrightLamp/article/details/83959185. 有关 cross-entropy 的详细介绍, 请参考 : BrightLamp. 通过案例详解cross-entropy交叉熵损失函数[E...
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
需要注意的是，CrossEntropyLoss内部已经处理了softmax操作，因此在多分类任务中，网络的输出层不需要再进行softmax激活。 **实例分析：** 1. **CrossEntropyLoss示例**： 在二分类问题中，假设网络的最后层输出...
PyTorch详解NLLLoss + softmax和CrossEntropyLoss
alittlebai1的博客
05-11 806
1.softmax** 1.1作用 将得到的数据变为1的分布，使结果在0-1之间，方便评估和比较预测结果； 当我们通过模型 得到三个输出（O1=0.1 , O2 = 1,O3 = 10） 那么我们就选择最大为我们想要的结果。但是三个数字之间的差距太大，那么就用softmax将三个值归一化到0-1之间 2.softmax公式 例如上述的三个数，y1 = exp(0.1)/( exp(0.1) + exp(1) + exp(10) ) 剩下的以此类推。 在import torch.nn.functi.
机器学习----交叉熵(Cross Entropy)如何做损失函数
lmy050813的博客
03-22 6262
损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。信息熵的值越小，表示系统的不确定性越低。例如，在机器学习中，相对熵常用于比较真实数据的分布和模型预测的分布之间的差异，以评估模型的性能。它可以用于评估两个模型或概率分布的相似性，比较数据分布的差异，以及在熵最小化的框架下进行优化等。对于回归问题，均方差的损失函数的导数是局部单调的，可以找到最优解。上面说的都是一个样本的时候，多个样本的表达式是:多个样本的概率即联合概率，等于每个的乘积。
softmax与cross-entropy loss
热门推荐
乐兮山南水北的博客
10-12 3万+
解释softmax与cross-entropy loss
softmax&Cross Entropy Loss
qq_52038588的博客
11-11 536
softmax，cross entropy loss，交叉熵损失函数
【深度学习】详解 Softmax Cross Entropy Loss
闻韶
05-25 1万+
Softmax Cross Entropy Loss = Softmax + Cross Entropy Loss
Cross Entropy Loss with Softmax的求导
Jiajun的博客
05-03 7112
ICO的全称是Initial Coin Offering（也有称作Initial Crypto-Token Offering），中文是首次代币发行。很多人错过AI，错过比特币，错过以太坊，生怕错过ICO，看到ICO犹如饿虎扑食般。在保守投资者的强烈抵触下，被批成ICO就是在炒空气。曾请教过一位在摩根工作的朋友，他说他们圈子对ICO是看空的；股神巴菲特先生怒斥比特币毫无价值。但笔者的观点是，并ICO并
mxnet中的SoftmaxCrossEntropyLoss损失函数
studyvcmfc的专栏
01-15 376
https://blog.csdn.net/gaussrieman123/article/details/100142251
softmax with cross-entropy loss求导(转载＋细节整理)
微电子学与固体电子学-俞驰
06-05 3027
softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。 其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。 即总共有kkk类,必有: ∑k=1Cyi=1\sum_{k=1}^Cy_i=1k=1∑C​yi​=1 为了方...
交叉熵损失函数(cross entropy loss)+softmax分类器
weixin_41880928的博客
05-13 2292
卷积神经网络处理多分类问题时，通常选择的损失函数是交叉熵损失函数(Cross Entropy Loss)。交叉熵表示的是模型实际输出和期望输出的差值，交叉熵的值越小，表明实际的输出和期望的结果越相近，效果越好。 以识别手写数字为例，0~9共十个类别。识别数字1，神经网络的输出结果越接近[0,1,0,0,0,0,0,0,0,0]越好。交叉熵计算公式： 需要注意的是，交叉熵描述的是两个概率分布之间的距离，然而神经网络的输出却不一定是一个概率分布，很多情况下是实数。如何将神经网络前向传播得到的结果也变成概率分
PyTorch 分类任务的softmax以及CrossEntropyLoss
rambo_csdn_123的博客
07-30 2754
多分类任务不需要在输出层使用softmax函数 今天在看nn.CrossEntropyLoss()的文档的时候看到两句话： 1.The input is expected to contain raw, unnormalized scores for each class. input 的维度要求是 [batch, C]，其中C是分类的总数 2.target 的维度直接是 batch就行了，而不需要进行 one-hot 猛然醒悟，原来CorssEntropyLoss()函数里面会自动调用softmax函数
python实现softmax函数、sigmoid函数、 softmax 交叉熵loss函数、sigmoid 交叉熵loss函数
qq_38061827的博客
03-15 2826
编辑器：jupyter notebook Tensorflow2.0 import tensorflow as tf import numpy as np 实现softmax函数 def softmax(x): x_exp = np.exp(x) x_sum = np.sum(x_exp, axis=1, keepdims=True) prob_x = x_exp / x_sum return prob_x test_data = np.random.normal(.
Softmax+Cross Entropy如何反向求导？
04-09
用户想了解Softmax与Cross Entropy组合的反向传播求导方法，需要公式推导过程。首先，我得回忆一下这两个函数的定义以及它们在神经网络中的常见应用场景。 首先，Softmax函数通常用于多分类问题，将神经网络的输出...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

静静喜欢大白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值