信息熵介绍

熵

在信息论与概率统计中，熵(entropy) 是表示随机变量不确定性的度量。设$X$是一个取有限个值的离散随机变量，其概率分布为：
$$P(X=x_i)=p_i,i=1,2,\cdots ,n$$
则随机变量$X$的熵定义为：
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i\text{\hspace{1em}(1)}$$
上述公式中，当对数以$2$为底时，熵的单位称作比特(bit)；当以$e$为底时，熵的单位称作纳特(nat)。从定义中可以看出，熵只依赖于$X$的分布，与$X$的具体取值无关，所以，也可以将$X$的熵记作$H(p)$，如下：
$$H(p)=-\sum _{i=1}^n{p}_i\log p_i\text{\hspace{1em}(2)}$$

注释
$X$的熵也可以解释为随机变量$\log \frac{1}{p(x)}$的期望。

熵越大，随机变量的不确定性就越大。从定义可以验证
$$0\le H(p)\le \log n\text{\hspace{1em}(3)}$$
当随机变量只取两个值，例如$1$，$0$时，即$X$的分布为
$$P(X=1)=p,P(X=0)=1-p,0\le p\le 1$$
熵为：
H(p)=−∑i=1npilog⁡pi=−plog⁡2p−(1−p)log⁡2(1−p)(4) \begin{aligned} H(p) &= -\sum_{i=1}^n p_i \log p_i \\ &= -p\log_2 p-(1-p) \log_2 (1-p) \tag{4} \end{aligned}