机器学习之极大似然估计与贝叶斯估计

原文 链接

一、贝叶斯定理与朴素贝叶斯

        首先介绍一下贝叶斯定理，贝叶斯定理是关于随机事件A和B的条件概率的一则定理。
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

        其中P(A|B)是在B发生的情况下A发生的可能性。

        在贝叶斯定理中，有以下名词概念需要注意：

• P(A|B)是在B条件下(B事件发生了)A发生的条件概率，又被称为A的后验概率 (Posterior probability)。

• P(B|A)是在A条件下(A事件发生了)B发生的条件概率，又被称为B的后验概率 (Posterior probability)。

• P(A)是A的先验概率 (Prior probability)。

• P(B)是B的先验概率(Prior probability)。

• P(B|A)/P(B)称为可能性函数 (Likelyhood)，这是一个调整因子，使得预估概率更接近真实概率。

        朴素贝叶斯法 (Naive Bayes) 是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯对条件个概率分布做了条件独立性的假设。如下列公式，有n个特征:
$$P(X|Y=c_k)=P(x_1,x_2,x_3,...,x_n|Y=c_k)=\prod _{i=1}^{n}P(x_i|Y=c_k)$$
下面举个例子更好的理解朴素贝叶斯：

某个医院早上来了六个门诊的病人，他们的情况如下表所示：

        现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？

根据贝叶斯定理：

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

可得

$$P(感冒|打喷嚏\times 建筑工人)=\frac{P(打喷嚏\times 建筑工人|感冒)P(感冒)}{P(打喷嚏\times 建筑工人)}$$

        由朴素贝叶斯条件独立性的假设可知，"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了:

$$P(感冒|打喷嚏and建筑工人)=$$