pytorch学习——Softmax与分类模型

原创于 2020-02-14 13:10:17 发布 · 574 阅读

CC 4.0 BY-SA版权

3 篇文章

订阅专栏

本文介绍了Softmax的原理，其在pytorch中的实现以及如何结合交叉熵损失函数进行模型训练和预测。通过训练，模型能够根据样本特征预测类别，并以准确率评估模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

softmax通过下式将输出值变换成值为正且和为1的概率分布：

因此softmax运算不改变预测类别输出。
pytorch定义softmax函数如下：

def softmax(X):
    X_exp = X.exp()
    partition = X_exp.sum(dim=1, keepdim=True)
    return X_exp / partition

定义softmax回归模型：

def net(X):
    return softmax(torch.mm(X.view((-1, num_inputs)), W) + b)

对于分类问题常用交叉熵损失函数：
在这里插入图片描述

def cross_entropy(y_hat, y):
    return - torch.log(y_hat.gather(1, y.view(-1, 1)))

在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。通常，我们把预测概率最大的类别作为输出类别。使用准确率（accuracy）来评价模型的表现。它等于正确预测数量与总预测数量之比。