详解Keras3.0 Losses:Probabilistic losses(概率损失)

缘起性空、

已于 2024-01-03 09:02:25 修改

阅读量1.2k

点赞数 26

CC 4.0 BY-SA版权

文章标签：机器学习深度学习人工智能 keras

于 2024-01-03 08:58:02 首次发布

本文链接：https://blog.csdn.net/lymake/article/details/135354149

本文详细介绍了几种常见的概率损失函数，包括二元交叉熵、多分类交叉熵（Categorical和Sparse）、Poisson分布和KL散度，以及它们在深度学习中的应用场景和计算方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Probabilistic losses

1、BinaryCrossentropy

2、CategoricalCrossentropy

3、SparseCategoricalCrossentropy

4、Poisson class

5、binary_crossentropy

6、sparse_categorical_crossentropy

7、KLDivergence class

Probabilistic losses

概率损失函数是用于衡量模型预测的概率分布与真实概率分布之间的差异的函数。这些函数通常用于分类问题，其中模型输出的是每个类别的概率。

1、BinaryCrossentropy

二元交叉熵损失函数是一种用于二分类问题的的损失函数，它衡量了模型预测的概率分布与真实概率分布之间的差异。

计算公式为：

L(y, y_pred) = -y * log(y_pred) - (1 - y) * log(1 - y_pred)

其中，y是真实标签，y_pred是模型预测的概率值。

示例：

# 真实标签
y_true = tf.constant([0, 1, 1, 0])

# 模型预测的概率值
y_pred = tf.constant([0.1, 0.9, 0.8, 0.2])

# 计算二元交叉熵损失
loss = keras.losses.BinaryCrossentropy()(y_true, y_pred)
print("二元交叉熵损失：", loss.numpy())

在使用二元交叉熵损失函数时，需要确保真实标签和预测概率值的数据类型相同，通常为浮点数。

2、CategoricalCrossentropy

用于计算多分类问题的损失

计算公式为：

CategoricalCrossentropy = -Σ(y_true * log(y_pred))

其中，y_true表示真实标签，y_pred表示预测概率。

示例：

from keras.models import Sequential
from keras.layers import Dense
from keras.losses import CategoricalCrossentropy

# 创建一个简单的神经网络模型
model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(10, activation='softmax'))

# 编译模型，设置损失函数为CategoricalCrossentropy
model.compile(optimizer='adam', loss=CategoricalCrossentropy(), metrics=['accuracy'])

# 生成模拟数据
import numpy as np