线性回归算法原理推导——最小二乘法直接计算参数矩阵

线性回归算法原理推导——最小二乘法直接计算参数矩阵

为了举例简单，假设银行的贷款系统计算一个人的额度时候，只受到年龄，每月固定收入的影响（当然实际情况要复杂的多），那么年龄和月固定收入对一个人的贷款额度的大小影响分别有多大呢？这个影响程度称之为参数。

假设年龄和每月固定收入分别为$x_1,x_2$,年龄和每月固定收入对贷款额度的影响程度分别用参数${\theta }_1,{\theta }_2$来表示，那么一个人的贷款额度就可表示为

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$

对上述公式进行整合可得到（偏置项${\theta }_0$在矩阵中仍然存在，只是$x_0$的值为1）

$h_{\theta }(x)={\sum }_{i=0}^{i=n}{\theta }_i{x}_i={\theta }^{T}X$

这就变成了矩阵乘法

误差：误差就是真实值和预测值之间的差异用$\epsilon$来表示该误差

对于每个样本的真实值就等于该样本的预测值加上误差项，误差可正，可负，可零。用公式表示如下

$y^{(i)}={\theta }^{(i)}{x}^{(i)}+{\epsilon }^{(i)}$

对于误差的几点说明

• 每个样本计算对应一个误差，这些误差是独立同分布的，应该服从均值为0方差为${\theta }^2$的高斯分布
• 独立就是说任何一个误差与其他误差之间没有任何关系
• 同分布就是说他们服从同一个概率分布

由于这些误差服从高斯分布，所以每个误差的概率可由下列公式计算得到

$P({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})$

但是我们需要求的是参数$\theta$的值，而此公式中并没有参数$\theta$

根据公式$y^{(i)}={\theta }^{(i)}{x}^{(i)}+{\epsilon }^{(i)}$可得到

${\epsilon }^{(i)}=y^{(i)}-{\theta }^{(i)}{x}^{(i)}$

代入$P({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})$可以得到

$$P(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^{(i)}{x}^{(i)}}{2{\sigma }^2})$$

这就引入了似然函数，似然函数就是用来求参数的函数，似然函数就是求什么样的参数能够跟已有数据组合后计算的预测值能够很好的反映真实值，最大（极大）似然函数就是使得求得的参数通过与已有数据组合得到的预测值能能更接近真实值，使得预测值是真实值或者接近真实值的概率最大化。

求参数$\theta$的似然函数如下

$L(\theta )={\prod }_{i=1}^{i=m}P(y^{(i)}|x^{(i)};\theta )={\prod }_{i=1}^{i=m}\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^{(i)}{x}^{(i)}}{2{\sigma }^2})$

但是这样的似然函数因为是乘法在计算上是难以求值的或者说计算复杂度很大。于是引入了对数似然函数，将原来的似然函数取对数，根据对数的运算法则可以将乘法运算化简为加法运算

对数运算法则$ln(AB)=ln(A)+ln(B)$

对原似然函数取对数

$$\begin{gathered} ln(L(\theta ))=ln({\prod }_{i=1}^{i=m}\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^{(i)}{x}^{(i)}}{2{\sigma }^2})) \\ ={\sum }_{i=1}^{i=m}ln(\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^{(i)}{x}^{(i)}}{2{\sigma }^2})) \\ =mln(\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{{\sigma }^2}\frac{1}{2}{\sum }_{i=1}^{i=m}(y^{(i)}-{\theta }^{(T)}{x}^{(i)}{)}^2 \end{gathered}$$

现在 $A=mln(\frac{1}{\sqrt{2\pi }\sigma }),B=\frac{1}{{\sigma }^2}\frac{1}{2}{\sum }_{i=1}^{i=m}(y^{(i)}-{\theta }^{(T)}{x}^{(i)}{)}^2$

显然$A$是一个常数，$B$是一个正数，我们的目标是使得对数似然函数的值最大，因为它反映了预测值能够多大程度上接近真实值或者说预测值是真实值的概率，它的值越大，预测值越接近真实值，所以要使得$B$的值最小

于是得到了最小二乘法的公式:

$J(\theta )=\frac{1}{2}{\sum }_{i=1}^{i=m}(y^{(i)}-{\theta }^{(T)}{x}^{(i)}{)}^2$

我们的目标是求参数$\theta$的值使得$J(\theta )$最小，根据矩阵公式$X^2=X^{T}X$,对$J(\theta )$展开，然后对$\theta$求导（其中涉及到一点矩阵求导的公式），并且化简，让导函数等于0，最后得到$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

下面是展开过程和求导过程


评估线性拟合的效果最常用的评估项是$R^2$
$\begin{array}{r}{R}^2=1-\frac{{\sum }_{i=1}^{i=m}(\widehat{y_i}-y_i{)}^2}{{\sum }_{i=1}^{i=m}(y_i-\overline{y_i}{)}^2}\end{array}$
$R^2$的值越接近1，拟合效果越好