机器学习---概率图模型（隐马尔可夫模型、马尔可夫随机场、条件随机场）

1. 隐马尔可夫模型

机器学习最重要的任务是根据已观察到的证据（例如训练样本）对感兴趣的未知变量（例如类别标

记）进行估计和推测。概率模型（probabilistic model）提供了一种描述框架，将描述任务归结为

计算变量的概率分布，在概率模型中，利用已知的变量推测未知变量的分布称为“推断

（inference）”，其核心在于基于可观测的变量推测出未知变量的条件分布。

生成式：计算联合分布𝑃(𝑌, 𝑅, 𝑂)，判别式：计算条件分布𝑃(𝑌, 𝑅|𝑂)

符号约定：𝑌为关心的变量的集合，O为可观测变量集合，R为其他变量集合

概率模型直接利用概率求和规则消去变量R的时间和空间复杂度为指数级别𝑂(2^(𝑌 +|𝑅|))，需要一

种能够简洁紧凑表达变量间关系的工具。 

概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型。

图模型提供了一种描述框架，结点：随机变量（集合）；边：变量之间的依赖关系

分类：有向图：贝叶斯网，使用有向无环图表示变量之间的依赖关系

无向图：马尔可夫网，使用无向图表示变量间的相关关系

概率图模型分类：有向图：贝叶斯网，无向图：马尔可夫网

隐马尔可夫模型（Hidden Markov Model，HMM）组成：状态变量：，通常假定是

隐藏的，不可被观测的。取值范围为𝑦，通常有𝑁个可能取值的离散空间

观测变量：表示第𝑖 时刻的观测值集合，观测变量可以为离散或连续型，本章中只

讨论离散型观测变量，取值范围X为

隐马尔可夫模型（Hidden Markov Model，HMM）：时刻的状态 𝑥𝑡 仅依赖于𝑥(𝑡 − 1)，与其余

𝑛 − 2个状态无关。马尔可夫链：系统下一时刻状态仅由当前状态决定，不依赖于以往的任何状态

HMM 的生成过程：

确定一个HMM需要三组参数𝜆 = [𝐴, 𝐵, 𝜋] 。状态转移概率：模型在各个状态间转换的概率表示在任

意时刻t，若状态为si，下一状态为sj的概率

输出观测概率：模型根据当前状态获得各个观测值的概率。在任意时刻t，若状态为Si，则在下一

时刻状态为Sj的概率

初始状态慨率：模型在初始时刻各个状态出现的慨率

通过指定状态空间𝑌，观测空间𝑋和上述三组参数，就能确定一个隐马尔可夫模型。给定𝜆 = [𝐴, 𝐵,

𝜋] ，它按如下过程生成观察序列：

①设置𝑡 = 1, 并根据初始状态𝜋选择初始状态𝑦1

②根据 𝑦𝑡 和输出观测概率𝐵 选择观测变量取值 𝑥𝑡

③根据状态 𝑦𝑡 和状态转移矩阵 𝐴 转移模型状态，即确