数学建模学习：岭回归和lasso回归

最新推荐文章于 2025-06-24 09:10:24 发布

原创

最新推荐文章于 2025-06-24 09:10:24 发布 · 8k 阅读

118 ·

CC 4.0 BY-SA版权

文章标签：

#回归 #学习 #数据挖掘

本文深入探讨了线性回归在面临多重共线性问题时的局限性，引出了岭回归和Lasso回归的概念。岭回归通过在损失函数中加入L2范数惩罚项，解决了矩阵不满秩的问题，而Lasso回归引入L1范数惩罚项，能实现变量选择，降低模型复杂度。文章介绍了λ的选择方法，包括岭迹分析法、VIF法和最小化均方预测误差法，并提供了实际案例分析，强调在实际应用中，Lasso回归因其计算量小和变量筛选优势更受青睐。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归

在多元线性回归模型中，估计回归系数使用的是OLS，并在最后讨论异方差和多重共线性对模型的影响。事实上，回归中自变量的选择大有门道，变量过多可能会导致多重共线性问题导致回归系数不显著，甚至造成OLS估计失效。

岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数组成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版，另一方面，加入的惩罚项让模型变得可估计，即使原数据矩阵不满足列满秩。

线性回归模型

在标准线性回归中，通过最小化真实值( $y_{i}$ )和预测值( $y^i\hat{y}_{i}$ )的平方误差来训练模型，这个平方误差值也被称为残差平方和(RSS, Residual Sum Of Squares):
$RSS=∑i=1n(yi−y^i)2 R S S=\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}$
最小二乘法即最小残差平方和，为：
$J_{\beta}(\beta)=\underset{\beta}{\arg \min } \sum_{i=1}^{p}\left(y_{i}-x_{i} \beta_{i}-\beta_{0}\right)^{2}$
将其化为矩阵形式：
$J_{\beta}(\beta)=\underset{\beta}{\arg \min }(Y-X \beta)^{T}(Y-X \beta)$