朴树贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型。对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

1，朴素贝叶斯法的学习与分类

设输入空间$\chi$是n维向量的集合，输出空间为类标记集合$\gamma=\{c_1,c_2,...,c_K\}$.输入特征向量为x，输出为类标记y。X是在输入空间上的随机变量，Y是在输出空间上的随机变量。P(X,Y)是X和Y的联合概率分布，训练数据集

$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$ 由P(X,Y)独立同分布产生。
朴素贝叶斯通过训练数据集联合概率分布P(X,Y)。具体的，学习以下先验概率及条件概率，先验概率分布 $$P(Y=c_k),\quad k=1,2,...K$$ 条件概率分布 $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(N)}=x^{(N)}|Y=c_k),\quad k=1,2,..,K$$ 于是学习到联合概率分布P(X,Y)

朴素贝叶斯法对条件概率分布做了条件独立性的假设。

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(N)}=x^{(N)}|Y=c_k)=\prod_{j=1}^nP(X^{(j)}=x^j|Y=c_j)$$

朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$,将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理；

$$P(Y=c_k|X=x)=\dfrac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$$ 由于分母对所有的$c_k$都是相同的，所以 $$y=arg\quad max_{c_k}P(Y=c_k)\prod _jP(X^{(j)}=x^j|Y=c_k)$$

2.朴素贝叶斯法的参数估计

（1）极大似然估计

在朴素贝叶斯法中，学习意味着估计$P(Y=c_k)$和$P(X{(j)}=x^j|Y=c_j)$.可以用极大似然估计法估计相应的概率，先验概率的极大似然估计为

$$P(Y=c_k)=\dfrac{\sum_{i=1}^NI(y_i=c_k)}{N},\quad k=1,2,...,N$$ 设第j个特征x^{(j)}可能取值的集合为{$a_{j1},a_{j2}，，a_{jn}$},条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是 $$P(X^{(j)}=a_{jl}|Y=c_k)=\dfrac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^NI(y_i=c_k)}$$ 式中，$x_i^{(j)}$是第i个样本的第j个特征；$a_{jl}$是第j个特征可能取得第l个值；I为指示函数。

（2）学习与分类算法

朴素贝叶斯算法
输入：训练数据$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T$,$x_i^{(j)}$是第i个样本的第j个特征。
输出：实例x的分类
（1）计算先验概率及条件概率

$$P(Y=c_k)=\dfrac{\sum_{i=1}^NI(y_i=c_k)}{N},\quad k=1,2,..,K$$ $$P(X^{(j)}=a_{jl}|Y=c_k)=\dfrac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^NI(y_i=c_k)}\quad j=1,2,..,N;\quad l=1,2,..,S_j;\quad k=1,2,..,K$$
（2）对于给定的实例$x=(x^{(1)},x^{(2)},...,x^{(n)})^T$，计算 $$P(Y=c_k)\prod _{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k),\quad k=1,2,...,K$$
（3）确定实例x的类 $$y=arg\quad max_{c_k}P(Y=c_k)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)$$

（3）贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的估计。这时会影响到后验概率的计算结果，使分类产生误差，解决这些问题的方法是采用贝叶斯估计。
条件概率的贝叶斯估计是

$$P_\gamma(X^{(j)}=a_{jl}|Y=c_k)=\dfrac{\sum_{i=1}^NI(x_i^{(j)}=a_{jl},y_i=c_k)+\gamma}{\sum_{i=1}^NI(y_i=c_k)+S_j\gamma}$$ 式中$\gamma>=0$
先验概率的贝叶斯估计为 $$P_\gamma(Y=c_k)=\dfrac{\sum_{i=1}^NI(y_i=c_k)+\gamma}{N+K\gamma}$$