GAN学习笔记——KL散度、交叉熵、JS散度

### 关系概述 在机器学习领域，Softmax、KL散度以及交叉熵紧密关联，在分类任务中扮演着重要角色。Softmax函数用于将模型最后一层的线性输出转换成概率分布形式[^1]。 ```python import numpy as np def softmax(x): e_x = np.exp(x - np.max(x)) return e_x / e_x.sum(axis=0) logits = np.array([2.0, 1.0, 0.1]) probs = softmax(logits) print(probs) ``` ### 数学定义与联系 #### KL 散度 (Kullback-Leibler Divergence) KL散度衡量的是两个概率分布P和Q之间差异的程度。其计算方式如下： \[D_{\mathrm{KL}}(P \parallel Q)=\sum_i P(i)\cdot(\log(P(i))-\log(Q(i)))\] 当应用于神经网络时，通常取真实标签的概率分布作为\(P\)，而预测得到的概率分布作为\(Q\)。需要注意的是，KL散度不是对称的距离度量方法。 #### 交叉熵 (Cross Entropy) 对于离散型随机变量而言，给定真实的概率分布p和估计的概率分布q，则它们之间的交叉熵表示为: \[H(p,q)=-\sum _{{x\in {\mathcal {X}}}}p(x)\,\log q(x).\] 在多类别分类场景下，如果采用one-hot编码的真实标签y和通过softmax获得的预测值s来表达上述公式的话，那么针对单一样本i的交叉熵损失可写作： \[CE(y^{(i)}, s^{(i)})=\sum_j y_j^{(i)} (-\log(s_j^{(i)})).\] 实际上，交叉熵可以视为负对数似然的一个特例，并且经常被用作监督学习中的目标函数之一。 ### 应用实例分析 考虑到实际应用环境的不同需求，选择合适的评估指标至关重要。比如在某些情况下，尽管L2 loss能够有效测量数值差距，但对于处理概率性质的数据来说，KL散度或交叉熵往往更为适宜[^2]。 特别是在构建深度学习架构的过程中，为了简化实现并提高效率，很多框架默认集成了`softmax_cross_entropy_with_logits_v2()`这样的API接口，它内部自动完成了从原始得分到最终决策边界的整个流程——先经由softmax映射至合法区间内再求解对应的交叉熵误差项[^3]。