多元高斯分布与高斯过程：从有限到无限的建模之旅

### 多元高斯分布与高斯过程：从有限到无限的建模之旅 #### 1. 多元高斯分布建模相关性 在实际问题中，我们常常需要考虑多个变量之间的关系。例如，在预测房屋价格时，邻居房屋的价格会对我们自己房屋的价格估计产生影响。多元高斯分布（Multivariate Gaussian Distribution，MVN）为我们提供了一种强大的工具，用于联合建模多个变量之间的相关性。 ##### 1.1 多元高斯分布基础 - **正态分布**：正态分布，也称为钟形曲线，在现实世界中非常常见，可用于建模各种数量，如身高、智商、收入和出生体重等。 - **MVN分布**：当我们想要同时建模多个数量时，就可以使用MVN分布。我们将这些数量聚合为一个随机变量向量，该向量遵循MVN分布。 设随机向量 $X = [X_1, X_2, \cdots, X_n]$ 遵循高斯分布 $N(\mu, \Sigma)$，其中 $\mu$ 是长度为 $n$ 的向量，称为均值向量，其每个元素表示 $X$ 中对应随机变量的期望值；$\Sigma$ 是 $n \times n$ 的矩阵，称为协方差矩阵，它描述了各个变量的方差以及变量之间的相关性。 具体来说： - 向量 $X$ 中的每个随机变量 $X_i$ 都遵循正态分布，其均值为 $\mu_i$，即MVN均值向量 $\mu$ 的第 $i$ 个元素。 - $X_i$ 的方差是协方差矩阵 $\Sigma$ 的第 $i$ 个对角元素。 - 协方差矩阵 $\Sigma$ 的第 $i$ 行第 $j$ 列元素表示 $X_i$ 和 $X_j$ 之间的协方差，与这两个随机变量的相关性有关。 为了更具体地说明，我们定义一个MVN分布来联合建模三个随机变量：我们自己房屋的价格 $A$、邻居Alice房屋的价格 $B$ 和加利福尼亚州Alix房屋的价格 $C$。通常，我们会将该高斯分布的均值向量归一化为零向量，以简化数学计算。 协方差矩阵的对角元素表示各个随机变量的方差，例如，$B$ 的方差（3）比 $A$ 的方差（1）略大，这意味着我们对邻居房屋的价值更不确定；$C$ 的方差最大，因为加利福尼亚州的房屋价格范围更广。 协方差矩阵的非对角元素表示变量之间的相关性： - 如果相关性高，如 $A$ 和 $B$ 的协方差为 0.9，说明这两个房屋的价格有不可忽略的相关性。知道邻居房屋的价格可以帮助我们更好地估计自己房屋的价格。 - 如果相关性低且接近零，如 $A$、$B$ 与 $C$ 之间的相关性，说明即使知道加利福尼亚州房屋的价格，也无法获得关于我们自己房屋价格的任何信息。 我们可以使用平行坐标图来可视化这个三维高斯分布，其中粗钻石表示均值向量（零向量），误差条表示三个变量的 95% 可信区间（CIs）。从 $A$ 到 $B$ 再到 $C$，我们观察到 CIs 越来越大，对应于各自方差的增加。 ##### 1.2 更新MVN分布 有了MVN分布后，我们可以根据观察到的数据更新这个分布。这个更新过程有时被称为条件化，即根据已知某个变量的值，推导出另一个变量的条件分布。 具体来说，我们想根据观察到的 $B$ 或 $C$ 的值，推导出这些价格的后验信念。使用贝叶斯定理，我们可以以封闭形式推导出这个后验分布，但推导过程较为复杂，我们只需知道有一个公式可以输入我们想要条件化的值，该公式将告诉我们 $A$、$B$ 和 $C$ 的后验分布。 当我们根据 $B = 4$ 对MVN进行条件化时，会发生以下变化： - $A$ 的分布发生变化，由于 $A$ 和 $B$ 之间的正相关性，其均值略有增加，误差条范围变小，不确定性降低。 - $B$ 的后验分布变成方差为零的特殊正态分布，因为我们确定了它的值。 - $C$ 的分布保持不变，因为它与 $B$ 没有相关性。 当我们根据 $C = 4$ 进行条件化时，$A$ 和 $B$ 的后验分布保持不变，因为 $C$ 与它们没有相关性。 另外，当我们对某个变量进行条件化时，从后验MVN中抽取的所有样本都会通过对应于该变量的观察点，就像在该点打了一个结一样。 ##### 1.3 高维高斯分布建模多个变量 MVN分布不仅可以包含三个随机变量，还可以同时建模任意有限数量的变量。例如，一个20维的高斯分布可以编码一条街道上一系列房屋的信息，更高维的高斯分布可以建模一个城市或国家的房屋。 我们同样将其均值向量归一化为零向量，并可以使用热图来可视化其协方差矩阵。在这个20维的高斯分布中，相邻变量的相关性较高，协方差较大；相距较远的变量相关性较低，协方差接近零。 在平行坐标图中，当我们对第10个变量的值为2