马尔可夫链

原创于 2025-08-28 20:28:14 发布 · 310 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#概率论

概率论专栏收录该内容

1 篇文章

订阅专栏

接下来会发生什么只取决于当前的状况。

性质：马尔可夫链是一种随机过程，是"无记忆"的。未来行动的概率不依赖于导致当前状态的前序步骤。

问题1：一个从 A 开始的过程在移动 2 次后出现在 B 的概率是多少？

解法1：留在A的概率： $0.3*0.3+0.7*0.8=0.65$ ，因为只有两个状态，所以在B的概率是 $1-0.65=0.35$ 。

解法2：留在B的概率： $0.3*0.7+0.7*0.2=0.35$ 。

在这个问题中，我们只知道前一个状态（从A开始），然后就能知道移动一次在B的概率和移动两次在B的概率。要确定当前状态的概率分布，只需要知道前一个状态。

现在我们把这个问题变成矩阵的问题。

转移矩阵的定义：

	A2	B2
A1	0.3	0.7
B1	0.8	0.2

记录1到2的概率。其一步转移矩阵为：

$P=\begin{pmatrix} 0.3 & 0.7\\ 0.8 & 0.2 \end{pmatrix}$

问题2：对于下图所描述的时间无关马尔可夫链，其两步转移矩阵是什么？

写出一步转移矩阵：

$P=\begin{pmatrix} 0.3 & 0.7\\ 0.9 & 0.1 \end{pmatrix}$

两步转移矩阵:

$P^2=\begin{pmatrix} 0.3 & 0.7\\ 0.9 & 0.1 \end{pmatrix}*\begin{pmatrix} 0.3 & 0.7\\ 0.9 & 0.1 \end{pmatrix}=\begin{pmatrix} 0.3*0.3+0.7*0.9 & 0.3*0.7+0.7*0.1\\ 0.9*0.3+0.1*0.9 & 0.1*0.1+0.9*0.7 \end{pmatrix}=\begin{pmatrix} 0.72 & 0.28\\ 0.36 & 0.64 \end{pmatrix}$