多元高斯分布与高斯过程：从有限到无限的建模之旅

# 多元高斯分布与高斯过程：从有限到无限的建模之旅 ## 1. 多元高斯分布的基础概念 在实际应用中，我们常常需要处理多个变量之间的关系。多元高斯分布（Multivariate Gaussian Distribution，简称 MVN）就是一种强大的工具，它可以帮助我们同时对多个变量进行建模。 ### 1.1 一元正态分布回顾 正态分布，也被称为钟形曲线，在现实世界中非常常见。它可以用来描述各种数量，例如人的身高、智商、收入以及出生时的体重等。正态分布的概率密度函数具有特定的形状，其均值和方差决定了分布的中心位置和离散程度。 ### 1.2 多元高斯分布的定义 当我们需要同时对多个数量进行建模时，就可以使用多元高斯分布。具体来说，我们将这些数量聚合为一个随机变量向量，这个向量就服从多元高斯分布。 假设有一个随机向量 $X = [X_1, X_2, \ldots, X_n]$，它服从高斯分布，记为 $N(\mu, \Sigma)$。其中，$\mu$ 是一个长度为 $n$ 的向量，称为均值向量，它的每个元素表示 $X$ 中对应随机变量的期望值；$\Sigma$ 是一个 $n \times n$ 的矩阵，称为协方差矩阵，它描述了各个变量的方差以及变量之间的相关性。 例如，考虑三个随机变量：我们自己房子的价格 $A$、邻居 Alice 房子的价格 $B$ 和加利福尼亚州 Alix 房子的价格 $C$。我们可以定义一个三维的多元高斯分布来联合建模这三个变量。通常，为了简化数学计算，我们会将均值向量归一化为零向量。 ### 1.3 协方差矩阵的解读 协方差矩阵 $\Sigma$ 的对角元素表示各个随机变量的方差，而非对角元素表示变量之间的协方差。具体来说： - 对角元素：第 $i$ 个对角元素表示第 $i$ 个变量 $X_i$ 的方差。方差越大，我们对该变量的值就越不确定。例如，在上述房子价格的例子中，$B$ 的方差（3）比 $A$ 的方差（1）略大，这意味着我们对邻居房子价格的不确定性更高，因为我们对邻居房子的了解可能不如对自己房子的了解多。而 $C$ 的方差最大（10），表示加利福尼亚州的房子价格范围更广，我们对其价格的不确定性也更大。 - 非对角元素：第 $i$ 行第 $j$ 列的元素表示 $X_i$ 和 $X_j$ 之间的协方差。如果协方差为正且值较大，则说明这两个变量是正相关的，即一个变量的值增加时，另一个变量的值也倾向于增加；反之亦然。例如，$A$ 和 $B$ 的协方差为 0.9，说明我们自己房子的价格和邻居房子的价格有显著的正相关关系。如果我们知道了邻居房子的价格，就可以更好地估计自己房子的价格。而 $A$ 和 $C$、$B$ 和 $C$ 的协方差为 0，说明我们自己的房子和邻居的房子与加利福尼亚州的房子价格没有相关性，即使我们知道了加利福尼亚州房子的价格，也无法从中获得关于我们自己房子价格的信息。 我们可以使用平行坐标图来可视化这个三维的多元高斯分布，如图所示：  在图中，粗钻石表示高斯分布的均值向量（这里是零向量），误差条表示三个变量的 95% 可信区间（Credible Intervals，简称 CIs）。从 $A$ 到 $B$ 再到 $C$，我们可以看到误差条越来越大，对应着各个变量方差的增加。 ## 2. 多元高斯分布的更新 在实际应用中，我们通常会根据新的观测数据来更新我们的模型。对于多元高斯分布，这个更新过程可以通过贝叶斯定理来实现。 ### 2.1 条件分布的概念 更新多元高斯分布的过程有时也被称为条件化（Conditioning），即给定某些变量的值，推导出其他变量的条件分布。具体来说，我们将我们的信念（这里是一个联合三元高斯分布）条件化在 $B$ 或 $C$ 的值上，从而得到这三个变量的联合后验分布。 ### 2.2 后验分布的推导 使用贝叶斯定理，我们可以以封闭形式推导出后验分布。虽然推导过程比较复杂，但我们只需要知道有一个公式可以使用，我们可以将 $B$ 或 $C$ 的值代入这个公式，就可以得到 $A$、$B$ 和 $C$ 的后验分布。令人惊讶的是，高斯分布的后验分布在条件化于数据时仍然是高斯分布，我们可以得到精确的后验均值和方差来指定后验高斯分布。 ### 2.3 后验分布的可视化与分析 为了更直观地理解后验分布的变化，我们可以再次使用平行坐标图。例如，当我们将多元高斯分布条件化在 $B = 4$ 时，得到的结果如图所示：  从图中可以看出，更新我们的信念后，有以下几点变化： - $A$ 的分布发生了变化，由于 $A$ 和 $B$ 之间的正相关关系，$A$ 的均值略有增加，并且误差条的范围变小，这意味着我们对 $A$ 的值的不确定性降低了。 - $B$ 的后验分布变成了一个方差为零的特殊正态分布，因为我们已经确切知道了它的值，所以对 $B$ 的值没有任何不确定性了。 - $C$ 的分布保持不变，因为它与 $B$ 没有相关性。 当我们将多元高斯分布条件