最大似然函数和最小二乘法的区别和理解

对于最小二乘法，当从模型中选择n个样本观察值时，参数的合理性要求就是让模型更好地拟合这个样本数据，就是让观察值和估计值之间的误差更小。而对于最大似然函数，当从模型中选择n个样本观察值时，合理的参数估计就是让从模型抽取这n个样本观察值的概率最大化。这是从不同的原理出发的两种参数估计法。

在最大似然法中，通过选择参数，让已知数据在某种意义上最有可能出现，这个某种意义上指的就是最大似然估计，而似然函数指的就是数据的概率分布函数。和最小二乘法不同的是，最大似然法需要提前知道这个数据的分布函数，这在实践中是很难的。一般我们要求线性回归的误差满足均值为0的正态分布，在这种情况下，最大似然函数和最小二乘法相同。

当假设数据满足正态分布函数的特征性，在这种情况下，最大似然函数和最小二乘法估计相同，这也就是为什么最小二乘法对于误差的估计用平方！
下面给出证明


当然上面的高斯公式有点错误，少写了一个方差的平方，但是不影响结果。

参考文献：https://blog.csdn.net/lu597203933/article/details/45032607