神经网络|(十三)概率论基础知识-贝叶斯公式和全概率公式

【1】引言

前序学习进程中，已经对贝叶斯公式和全概率公式做了简单学习，也对相关的先验概率、似然概率和后验概率基本概念做了探究。
今天就在先前学习的基础上再做一下加深，使得理解更加透彻。

【2】贝叶斯公式

【2.1】联合概率

联合概率，事件A和事件B同时发生的概率，可以记作：
$$P(A\cap B)$$

【2.2】条件概率

条件概率，一个事件已经发生的前提下，另一个事件发生的概率。
事件A发生的前提下，事件B发生的概率记作：$$P(B|A)$$
事件B发生的前提下，事件A发生的概率记作：$$P(A|B)$$
条件概率中蕴含联合概率，因为一个事件发生，另一个事件也发生，那这两个事件在表象上是同时发生，所以满足条件概率的定义，具体的计算公式为：
当事件A先发生，$$P(B|A)=\frac{P(A\cap B)}{P(A)}$$
当事件B先发生，$$P(A|B)=\frac{P(A\cap B)}{P(B)}$$

【2.3】贝叶斯公式

从条件概率推导联合概率，有：
$$P(B|A)\cdot P(A)=P(A\cap B)=P(A|B)\cdot P(B)$$
根据这个公式可以转换出另外两个公式：
$$P(B|A)=\frac{P(A|B)\cdot P(B)}{P(A)}$$
$$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$$
这两个就是贝叶斯公式。

【2.4】全概率公式

在先前的学习中，其实提及贝叶斯公式会涉及一连串互斥且互补的时间，本质上这是一个全概率问题。
多个事件互斥且互补时，它们一定满足：
$$P(A|A)=1=\sum _{i=1}^{n}P(A_i|A)$$
$$i\ne j,P(A_i\cap A_j)=0$$
所以全概率公式可以进一步改写，以事件A先发生讨论，此时有

$$\begin{gathered} P(B|A)=\frac{P(A|B)\cdot P(B)}{P(A)}= \\ \frac{{\sum }_{i=1}^{n}P(A_i|B)P(B)}{{\sum }_{i=1}^{n}P(A_i)} \end{gathered}$$

【2.5】讨论

贝叶斯公式提供了更为广阔的视角，实际上无论哪个事件先发生，都可以计算$P(A|B)$和$P(B|A)$，计算的根本依据就是全概率公式。
更多时候，学习里面的困惑在于本来在学习A先发生，B后发生，这样很好计算$P(B|A)$，突然问B发生时A发生的概率$P(A|B)$，这时候就一定要灵活使用$$P(B|A)\cdot P(A)=P(A\cap B)=P(A|B)\cdot P(B)$$来转换贝叶斯公式。

【3】总结

学习了贝叶斯公式和全概率公式。