这里写目录标题
- 正则化 regularization
-
- 正则化的目的
-
- 过拟合和欠拟合
- L1正则项与L2正则项
- L1稀疏,L2平滑
- 总结
正则化 regularization
正则化的目的
正则化是机器学习中的一种技术,主要用于减少模型的复杂度,防止过拟合,提高模型的泛化能力。过拟合是指模型在训练数据上学习得非常好,但在未知数据上表现不佳。为了避免这种情况,我们可以通过正则化来惩罚模型的参数,使得模型变得更简单。
正则化的目的主要有以下几点:
1.防止过拟合:通过限制模型的复杂度,正则化有助于防止模型在训练数据上过度拟合,从而提高模型在未知数据上的表现。
2.提高泛化能力:正则化可以使得模型在训练数据和测试数据之间取得更好的平衡,从而提高模型的泛化能力。
3.减少模型参数:正则化会使得部分参数的值变得更小,从而减少模型的参数数量,使得模型更简单。
4.加速模型训练:正则化可以减少模型的参数数量,从而加速模型的训练过程。
过拟合和欠拟合
(1) under fit:还没有拟合到位,训练集和测试集的准确率都还没有到达最高。
(2) over fit:拟合过度,训练集的准确率升高的同时,测试集的准确率反而降低。学的过
度了,做过的卷子都能再次答对,考试碰到新的没见过的题就考不好。
(3) just right:过拟合前训练集和测试集准确率都达到最高时刻。学习并不需要花费很多
时间,理解的很好,考试的时候可以很好的把知识举一反三。真正工作中我们是奔着过
拟合的状态去调的,但是最后要的模型肯定是没有过拟合的。
如下图所示:
正则化就是防止过拟合,增加模型的鲁棒性 robust,鲁棒是 Robust 的音译,也就是强壮的意思。鲁棒性调优就是让模型拥有更好的鲁棒性,也就是让模型的泛化能力和推广能