列向量互信息计算

越不确定的事情，包含的“信息量”越大。熵就是用来量化这种不确定的工具熵：HX−∑pxlogpxpx的范围在：0~1之间logpx−logpxlogpx−logpx我们使用概率加权求和，稀少的时间，也有较大的权重。既考虑了“惊讶程度“，又考虑了”发生频率“我们可以把px理解为权重，−logpx理解为信息量。

目录一、 计算公式1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)二、举例说明1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)总结 一、 计算公式 在shannon提出信息论到现在已经有70多年的历史。信息论中常用的概念有信息熵、联合熵、条件熵、互信息等概念。 1、信息熵H(X) 定义：一个离散随机变量X的熵H(X)定义为 H...

记录学习分享 理解信息量 https://blog.csdn.net/tsyccnh/article/details/79163834 自信息量： -I(xi) = -log( P(xi) ) 信息熵：(自信息量的期望） H(X) = -∑P(xi) * log( P(xi) ) 条件熵：（条件信息量的期望。前边是xi和yj同时发生的概率，就是求期望） H(X|Y) = -∑P(xi, yj) * log( P(xi | yj) ) 联合熵： H(X, Y) = -∑P(xi, yj) * log.

参考文章：https://blog.csdn.net/lk7688535/article/details/52529610