无向概率图模型简介

### 无向概率图模型简介 在计算机视觉（CV）领域，概率图模型（PGM）被广泛应用，主要分为有向和无向概率图模型两种类型。无向概率图模型，如马尔可夫随机场（MRF）和条件随机场（CRF），在图像去噪、分割、运动估计、立体视觉、目标识别和图像编辑等众多视觉任务中发挥着重要作用。下面将详细介绍无向概率图模型的定义、性质以及几种常见的变体。 #### 1. 无向概率图模型的定义和性质 ##### 1.1 定义 - **马尔可夫网络（MN）**：也称为马尔可夫随机场（MRF），是满足马尔可夫性质的无向图。设 $X = \{X_1, X_2, ..., X_N\}$ 是一组 $N$ 个随机变量，MN 是联合概率分布 $p(X_1, X_2, ..., X_N)$ 的图形表示，可定义为二元组 $M = \{G, \theta\}$。其中，$G = \{E, V\}$ 定义了 MN 的结构部分，$V$ 表示与 $X$ 中变量对应的节点，$E = \{E_{ij}\}$ 表示节点 $i$ 和 $j$ 之间的无向边，捕获了节点所代表变量之间的概率依赖关系；$\theta$ 定义了 MN 的定量部分。节点 $X_i$ 的邻居 $N_{X_i}$ 是直接与 $X_i$ 相连的节点。一个无向图 $M$ 是 MN 当且仅当它满足马尔可夫条件： \[X_i \perp X_j | N_{X_i} \quad \forall X_j \in X \setminus N_{X_i} \setminus X_i\] 该条件表明，给定一个节点的邻居，该节点与所有其他节点相互独立。例如，在图 4.1 的 MN 中，节点 A 在给定其邻居 B 和 C 的情况下与节点 E 独立。 - **团（Clique）**：根据图论，团是完全连通的子图，即子图中每对节点之间都有边相连。团的节点数量可以不同，最大团是覆盖所有节点的最小团集合，且是唯一的。例如，在图 4.3 的 MN 中，其最大团为 $\{X_1, X_2\}$，$\{X_2, X_3, X_4\}$，$\{X_4, X_5\}$ 和 $\{X_6\}$。 - **联合概率分布**：根据 Hammersley - Clifford（HC）定理，MN 中所有节点的联合概率分布等于其最大团的归一化势函数的乘积： \[p(x_1, x_2, ..., x_N) = \frac{1}{Z} \prod_{c \in C} \psi_c(x_c)\] 其中，$C$ 表示最大团的集合，$c$ 是一个最大团，$x_c$ 是团 $c$ 中的节点，$\psi_c(x_c)$ 是团 $c$ 的势函数，$Z$ 是分区函数，用于将等式右边归一化到 0 到 1 之间。对于离散 MN，$Z = \sum_{x_1, x_2, ..., x_N} \prod_{c \in C} \psi_c(x_c)$。 - **势函数**：与贝叶斯网络（BN）由条件概率分布（CPD）参数化不同，MN 由势函数 $\psi()$ 参数化。势函数衡量变量之间的兼容性，值越高表示兼容性越强。一种广泛使用的势函数是对数线性函数： \[\psi_c(x_c) = \exp(-w_c E_c(x_c))\] 其中，$E_c(X_c)$ 是团 $c$ 的能量函数，$w_c$ 是其参数。由于负号的存在，势函数的高值对应于能量函数的低值。给定对数线性势函数，MN 的联合概率分布可以写成吉布斯分布： \[p(x_1, x_2, ..., x_N) = \frac{1}{Z} \exp\left[-\sum_{c \in C} w_c E_c(x_c)\right]\] ##### 1.2 性质 - **局部独立性**： - **马尔可夫性质**：如式（4.1）所定义，节点 $X_i$ 在给定其邻居的情况下与所有其他节点独立，即节点 $X_i$ 的邻居完全屏蔽了 $X_i$ 与其他节点的联系。对于 MN，节点的马尔可夫毯（MB）由其最近的邻居组成，即 $MB_{X_i} = N_{X_i}$。例如，在图 4.4B 中，节点 C 的邻居（或其 MB）为 $\{A, D, E\}$，根据马尔可夫性质，有 $C \perp B | \{A, D, E\}$。 - **成对独立性**：任意两个不相连的节点在给定所有其他节点的情况下相互独立。形式上，对于两个不相连的节点 $X_i$ 和 $X_j$，成对独立性可表示为 $X_i \perp X_j | X \setminus X_i \setminus X_j$。例如，在图 4.4A 的 MN 中，节点 D 和 E 在给定节点 A、B 和 C 的情况下相互独立。 - **全局独立性**：通过 D - 分离原则，MN 具有全局独立性。如果两个节点之间的每条路径都被阻塞，则这两个节点相互独立。路径是两个节点之间的节点序列，其中任意连续节点由无向边连接，且序列中节点不重复。如果路径中的一个节点被给定，则该路径被阻塞。例如，在图 4.4C 中，节点 A 和 F 在给定 D 和 E 的情况下相互独立，因为 A 和 F 之间的两条路径 A - B - D - F 和 A - C - E - F 都被 D 和 E 阻塞。 - **I - map**：与 BN 类似，MN 与分布 $p$ 之间也存在忠实性问题。如果 $I(M) \subseteq I(p)$，则 MN $M$ 是分布 $p$ 的 I - map；如果 $I(M) = I(p)$，则它是完美的 I - map，其中 $I()$ 表示独立性。 #### 2. 成对马尔可夫网络 成对马尔可夫网络是最常用的 MN 类型，其最大团大小为 2，具有简单性和高效表示的优点。离散成对 MN 的参数数量与节点数量呈二次关系。每个团的势函数仅涉及两个相邻节点 $X_i$ 和 $X_