互信息（mutual information）

　　本文根据以下参考资料进行整理： 　　1.维基百科：https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 　　2.新浪博客：http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html 　　在概率论和信息论中，两个随机变量的互信息（Mutual Informatio...

在信息论中，互信息是一种衡量两个随机变量之间相互关系的度量。它衡量了通过一个变量的信息能够减少另一个变量不确定性的情况。换言之，互信息是关于两个变量共享信息的一种量化表达，是信息内容的度量，因此它可以用来确定两个变量之间依赖性的程度。互信息（Mutual Information，简称MI）可以通过变量的联合概率分布以及边缘概率分布来计算。对于两个离散随机变量X和Y，其互信息MI(X;Y)可以定义为：MI(X;其中，p(x,y)表示X和Y的联合概率，p(x)和p(y)分别是X和Y的边缘概率。

互信息 0 前言 为了介绍互信息（mutual information），先给出熵和条件熵的定义。在信息论与概率统计中，熵（entropy）是表示随机变量的不确定性的度量，也就是说熵的值越大，不确定性越高。 1 熵与条件熵 （1）第一类互信息的定义（研究同一系统的不同状态，比如决策树中的分支选择） 随机变量X的熵定义为： 从公式中我们能看出，熵只依...

互信息(Mutual information)是描述一个随机变量中包含的关于另一个随机变量的信息

互信息是两个随机变量间相互依赖性的量度，用I(X;Y)表示 互信息度量两个随机变量共享的信息——知道随机变量X,对随机变量Y的不确定性减少的程度（或者知道随机变量Y，对随机变量X的不确定性减少的程度 举个例子 随机变量X表示一个均衡的六面骰子投掷出的点数，Y表示X的奇偶性。这里我们设X是偶数时，Y=0；X是奇数时，Y=1。 如果我们知道X，如X=1，则可以判断Y=1。(失去Y=0这一信息的可能性，Y的不确定性信息减少了) 同样的，如果我们知道Y=0,则可以判断X=2或4或6。（失去X=1或3或5这一信息的可

特征选择 1.TF-IDF原理 TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。 词频TF（item frequency）：某一给定词语在该文本中出现次数。该数字通常会被归一化（分子一般小于分母），以防止它偏向长的文件，因为不管该词语重要与否，它在长文件中出现的次数很可能比在段文件中出...

互信息IX;YI(X;Y)IX;Y是用来描述两个随机变量XXX和YYY之间的共同信息量，它告诉我们知道一个变量可以减少另一个变量多少不确定性。IX;IX;Yxy∈X×Y∑​pxylogpxpypxy​pxyp(x, y)pxy是XXX和YYY的联合概率分布。pxp(x)px和pyp(y)py分别是X。

1. 引言 1.1 组织结构 本文档的编写逻辑： 为什么–为什么要用互信息，互信息用在哪里； 是什么–互信息的定义是什么，如何理解； 怎么办–如何进行互信息的计算，具体的示例； 1.2 背景 不知道大家有没有看过《非诚勿扰》这个电视相亲节目？非诚勿扰节目中，如果男嘉宾经历了千辛万苦还没有被女嘉宾灭完灯，那么就会进入到“权利反转”环节，由男嘉宾选择女嘉宾。 假设现在场上有4位女嘉宾为我留灯，我该怎么...

首次遇到新的数据集可能会让人感到不知所措。你可能会面对数百甚至数千个特征，甚至没有描述可以参考。你应该从哪里开始呢？一个很好的第一步是构建一个特征效用度量的排名，这是一个衡量特征和目标之间关联性的函数。然后，你可以选择一小部分最有用的特征进行初步开发，这样可以更有信心地投入你的时间。我们将使用的度量标准称为"互信息"。互信息很像相关性，因为它衡量了两个量之间的关系。互信息的优点是它可以检测任何类型的关系，而相关性只能检测线性关系。