Pattern Recognition and Machine Learning 第八章 贝叶斯网络

标签： 机器学习

---

重点：

1. 条件独立和概率分解
2. 和积算法
3. 最大和算法

---

图模型

概率论可以使用两个简单的方程(加和规则和乘积规则)表示，可以完全通过代数计算来对更加复杂的模型进行建模和求解。概率图模型是可以用来帮助分析的工具，它提供了几个有用的性质:

• 将概率模型的结构可视化，可以用于设计新的模型。
• 通过观察图形，可以更深刻地认识模型的性质，如条件独立性质。
• 用图计算表达复杂计算，隐式地承载了数学表达式。

类似于图论，现在每个点和边都被赋予新的对象。
结点：表示一个随机变量(或一组随机变量)；
边（链接）：表示变量之间的概率关系；
有向图：贝叶斯网络，表达随机变量之间的因果关系；
无向图：马尔科夫随机场(Markov random fields)，表示随机变量之间的软限制；

图描述了联合概率分布在所有随机变量上能够分解为一组因子的乘积的方式。
为了求解推断问题，把有向图和无向图都转化为一个不同的表示形式,被称为因子图(factor graph)。

---

贝叶斯网络

一个贝叶斯网络1定义包括一个有向无环图（DAG）和一个条件概率表(Conditional probability table, CPT)集合。DAG中每一个节点表示一个随机变量，可以是可直接观测变量或隐藏变量，而有向边表示随机变量间的条件依赖；条件概率表中的每一个元素对应DAG中唯一的节点，存储此节点对于其所有直接前驱节点的联合条件概率。

要求的有向无环图(DAG)，边从父节点指向子节点，每个图都对应了一个联合概率分布

$$p(x) =∏^K_{k=1}p(x_k|pa_k)$$ 其中 $pa_k$是节点 $x_k$的所有直接父节点的集合。体现了 因果关系，以及 条件独立的结构。如果右侧的每一个条件概率分布都是归一化的，那么这个表示方法整体总是归一化的。

条件独立

每一个节点在其直接前驱节点的值制定后，这个节点条件独立于其所有非直接前驱前辈节点。例如虫子的飞行相对于上一步是有依赖关系的，可是跟更前面的状态是独立的。用公式表示即

$$x_k\bot anc_k|pa_k$$ 其中 $anc_k$表示 $x_k$的所有祖先非父亲节点。该式子即表示了在给定父亲关系后，本节点和祖先相互独立。且条件独立的性质为