数学建模之熵权法

熵权法

概述

**熵权法(Entropy Weight Method,EWM)**是一种客观赋权的方法，原理：指标的变异程度越小，所包含的信息量也越小，其对应的权值应该越低（例如，如果对于所有样本而言，某项指标的值都相同，则该指标无参考价值，即信息量为0，权值应为0）。

如何衡量信息量大小？越不可能发生的事件信息量越多，越有可能发生的事情信息量越少。例如一个全校前几名的尖子生小王考上了清华，大家都觉得天经地义，里面没什么信息量；而如果有一天成绩很差的小张考上了清华，让大家很诧异，这里面包含的信息量就很大了。于是我们可以用概率衡量信息量。

信息量用I表示，概率用p表示，设x表示事件X可能发生的某种情况，我们可以建立I和p的函数关系
$$I(x)=-ln(p(x))$$

下面引入信息熵的概念，设事件X可能发生的情况为$x_1、x_2、...、x_n$

则信息熵被定义为
$$H(x)=-\sum _{i=1}^{n}p(x_i)ln(p(x_i))$$
在概率论中我们知道离散型随机变量数学期望的定义为E(x)=∑i=1nxip(xi)E(x)=\sum_{i=1}^{n}x_{i}p(x_{i})