从高斯噪声的角度分析MAE和MSE

原创已于 2025-07-17 16:46:28 修改 · 1.5k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2025-07-17 11:14:57 首次发布

34 篇文章

订阅专栏

31 篇文章

订阅专栏

1. MAE与MSE的本质区别

MAE（Mean Absolute Error）和MSE（Mean Squared Error）是两种常用的损失函数，它们的数学形式决定了对误差的不同敏感程度：

从几何角度看，MSE等价于欧氏距离的平方，而MAE等价于曼哈顿距离。这导致MSE对离群点更加敏感，而MAE更具鲁棒性。

在噪声服从高斯分布 $\epsilon \sim \mathcal{N}(0, \sigma^2)$ 的假设下：

MSE是最优损失函数
MSE对应于高斯噪声下的最大似然估计（MLE）。此时，最小化MSE等价于最大化对数似然函数：
$\arg\min_{\theta} \sum_{i=1}^{n} (y_i - f(x_i; \theta))^2 \quad \Leftrightarrow \quad \arg\max_{\theta} \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - f(x_i; \theta))^2}{2\sigma^2}\right)$
高斯分布的二次指数形式直接对应平方误差。
MAE的统计假设
MAE对应于噪声服从拉普拉斯分布时的MLE。拉普拉斯分布的概率密度函数为：
$p(\epsilon) = \frac{1}{2b} \exp\left(-\frac{|\epsilon|}{b}\right)$

$\arg\min_{\theta} \sum_{i=1}^{n} |y_i - f(x_i; \theta)| \quad \Leftrightarrow \quad \arg\max_{\theta} \prod_{i=1}^{n} \frac{1}{2b} \exp\left(-\frac{|y_i - f(x_i; \theta)|}{b}\right)$
此时，最小化MAE等价于最大化拉普拉斯分布下的对数似然。

MAE容易产生稀疏解的根本原因在于其梯度特性：

MAE的梯度恒定
MAE的梯度为：
$\frac{\partial \text{MAE}}{\partial \theta} = \begin{cases} +1, & \text{if } y_i - f(x_i; \theta) > 0 \\ -1, & \text{if } y_i - f(x_i; \theta) < 0 \\ \text{undefined}, & \text{if } y_i - f(x_i; \theta) = 0 \end{cases}$
当参数接近零时，梯度仍保持恒定（±1），促使参数快速收敛到零。
MSE的梯度衰减
MSE的梯度为：
$\frac{\partial \text{MSE}}{\partial \theta} = -2(y_i - f(x_i; \theta)) \cdot \frac{\partial f(x_i; \theta)}{\partial \theta}$
当误差接近零时，梯度趋近于零，导致参数更新变得非常缓慢，难以彻底消除小参数。
几何解释
从优化角度看，MAE的等高线是菱形（在二维空间中），其顶点位于坐标轴上；而MSE的等高线是圆形。当损失函数的最小值靠近坐标轴时，MAE的等高线更容易与坐标轴相交，从而使某些参数被置零。更多可见损失函数的等高线与参数置零的关系