机器学习笔记 - 互信息Mutual Information

1、概述

        遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。

        我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。

        互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。

        互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。

2、相互信息及其衡量标准

        互信息描述了不确定性方面的关系。 两个量之间的互信息 (MI) 是衡量一个量的知识减少另一个量的不确定性的程度。 如果你知道一个特性的价值，你会对目标更有信心吗？

        这是 Ames Housing 数据中的一个示例。 该图显示了房屋的外观质量与其售价之间的关系。 每个点代表一所房子。