马尔可夫矩阵与马尔可夫链收敛

定义

马尔科夫矩阵满足：1. 每个元素是非负的；2. 每列元素相加等于 1。
满足以上条件，即为马尔可夫矩阵

性质1

由：1. 每个元素是非负的；2. 每列元素相加等于 1
易知：矩阵任意元素$a_{ij}$满足 $0\le a_{ij}<1$

性质2

由：1. 每个元素是非负的；2. 每列元素相加等于 1
可知：矩阵存在 $\lambda =1$的特征值

证明：

矩阵存在 $\lambda =1$的特征值

矩阵特征值求解：$｜A-\lambda \ast I｜=0$, $\lambda$即为特征值
任意马尔可夫矩阵P，每列元素和为1，则 P-I 的每列元素和为0，则 P-I 的行向量和为0向量。
因此， $|P-1\ast I|$ 行业式经过变
换后存在某一行向量为0向量，则 $|P-1\ast I|=0$.
因此，1是马尔可夫矩阵的特征值。

测试、验证:

马尔可夫矩阵存在$\lambda =1$的特征值

p = np.matrix([[0.5, 0.25, 0.25], [0.8, 0.1, 0.1], [0.2, 0.2, 0.6]]).T
eigenvalue,  eigenvector= np.linalg.eig(p)
eigenvalue

array([ 1. , -0.16457513, 0.36457513])

eigenvector

matrix([[ 0.77534804, 0.80070884, -0.66581264],
[ 0.32802313, -0.57079184, -0.06676528],
[ 0.53966308, -0.18182964, 0.74312578]])

性质3

转移矩阵收敛，马尔可夫链到达平稳状态
设初始状态为$A_0$, 状态转移矩阵P为马尔可夫矩阵。
$A_1$ = P * $A_0$
$A_2$ = P * $A_1$
$A_3$ = P * $A_2$
…
$A_{n+1}$ = P * $A_n$
当n大到一定程度后， $A_{n+1}$ = $A_n$

证：马尔可夫矩阵的幂仍是马尔可夫矩阵

设矩阵P为任意马尔可夫矩阵，$P_{ij}\in P$
$$P=\left[\begin{array}{cccc}a1& b1& ...& m1\\ a2& b2& ...& m2\\ ...& ...& ...& ...\\ an& bn& ...& mn\end{array}\right]$$
$$P\ast P_j=[\begin{array}{c}a1\ast j1+b1\ast j2+...+m1\ast jn\\ a2\ast j1+b2\ast j2+...+m2\ast \end{array}$$