概率视角下的线性回归笔记

最新推荐文章于 2025-01-30 18:32:00 发布

Sakura_Logic

最新推荐文章于 2025-01-30 18:32:00 发布

阅读量445

点赞数

CC 4.0 BY-SA版权

分类专栏： Machine Learning

本文链接：https://blog.csdn.net/Sakura_Logic/article/details/111568917

概率视角下的线性回归

1 概率视角下的线性回归

1 概率视角下的线性回归

1.1 线性回归理论模型

任意给定一个随机样本 $(y_i,x_{i1},x_{i2}\cdots x_{ip}),i=1,2\cdots,N$ ， $i$ 表示第 $i$ 个样本， $p$ 表示特征个数。一个线性回归模型假设 回归子 $y_{i}$ 和 回归量 $x_{i1},x_{i2}\cdots x_{ip}$ 之间的关系是，除了 $x$ 的影响以外，还有其他的变量存在。我们加入一个误差项 $\varepsilon _{i}$ （也是一个随机变量）来捕获除了 $x_{i1},x_{i2}\cdots x_{ip}$ 之外任何对 $y_{i}$ 的影响。所以一个多变量线性回归模型表示为以下的形式： $y_{i}=\theta_{0}+\theta_{1}x_{i1}+\theta_{2}x_{i2}+\cdots+\theta_{p}x_{ip}+\varepsilon _{i},\qquad i=1,2\cdots,N$ 其他的模型可能被认定成非线性模型。一个线性回归模型不需要是关于自变量 $x$ 的线性函数。在这里线性体现为 $y_{i}$ 的条件均值关于参数 $\theta$ 是线性的。例如：模型 $y_{i}=\theta_1x_i+\theta_2x_i^2+\varepsilon _{i}$ 在 $\theta _{1}$ 和 $\theta _{2}$ 里是线性的，但在 $x_{i}^{2}$ 里是非线性的，它是 $x_{i}$ 的非线性函数，是 $\theta_{i}$ 的线性函数，该式又叫多项式线性回归。