cs231n学习笔记-lecture3（Loss Functions and Optimization）

stesha_chen

于 2018-11-10 23:43:51 发布

阅读量332

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习入门文章标签： hinge softmax regularization L1正则化 L2正则化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/stesha_chen/article/details/83824735

这篇博客是cs231n课程的学习笔记，主要探讨了损失函数（如SVM Loss、Softmax Loss）及其正则化（L1和L2）的作用，并介绍了优化过程中的梯度下降策略。SVM Loss通过Hinge loss确保模型预测的正确类别得分超过其他类别。正则化避免过拟合，L1和L2正则化各有特点，L1导致参数稀疏，L2使参数更均衡。最后，博主介绍了通过导数求解最优解的优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

最近开始学习cs231n的课程，想从基础上再梳理一下视觉相关的知识点，课程中有些概念的解释还是非常巧妙的，将自己有些领悟的地方记录下来，方面以后回顾。

Loss Functions

SVM Loss

对于一个线性模型 $f(x,W)=Wx+b$ ，计算出来的值就是某张图片对于每个类别的分数。

如上图的计算一样，假设我们现在有了一组W，如何判断这个W的表现如何呢？

因此引入了loss函数，用这个loss函数计算出来的值来评估这组W计算出来的结果与我们期待的结果之间的差距。我们期待的情况当然是这张图片真实label位置计算出来的score要大于其他位置的score，如果符合这个要求，loss就为0，否则就会有loss值产生以表示跟我们期待的情况有差距。

给定样本 $(x_i,y_i)$ ， $i$ 从1到N，N是总共样本个数，我们会对每一个样本求loss，然后汇总得到总共的loss

按照上面提到的思路，我们希望图片真实label的score要高于其他位置score，这里为了提高robustness，我们增加一个margin值，让真实label是score大于其他位置score+margin，假定margin为1，那么loss可以如下表示，叫做SVM loss

${s_{y}}_i$ 表示正确label的得分，

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。