本文详细探讨了softmax回归中交叉熵损失函数的求导过程，通过复合函数求导法则，分别计算了∂zi/∂C和∂aj/∂Cj，并得出最终的梯度公式：∂zi/∂C = ai - yi。这个梯度在分类问题中具有重要意义。
softmax函数的表达式：ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai=∑kezkezi
交叉熵 损失函数：C=−∑iyilnaiC=-\sum_{i} y_{i} \ln a_{i}C=−∑iyilnai
根据复合函数求导法则：∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\partial z_{i}}=\sum_{j}\left(\frac{\partial C_{j}}{\partial a_{j}} \frac{\partial a_{j}}{\partial z_{i}}\right)∂zi∂C=∑j(∂aj∂Cj∂zi∂aj)
计算前面一项：∂Cj∂aj=∂(−yjlnaj)∂aj=−yj1aj\frac{\partial C_{j}}{\partial a_{j}}=\frac{\partial\left(-y_{j} \ln a_{j}\right)}{\partial a_{j}}=-y_{j} \frac{1}{a_{j}}∂aj∂Cj=∂aj∂(−yjlnaj)=−yj
最低0.47元/天 解锁文章
扫一扫
1345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
