多维高斯(Gauss)分布的熵

作者: 引线小白-本文永久链接：http://www.limoncc.com/概率论/2017-01-10-多元高斯分布的熵/ 知识共享许可协议: 本博客采用署名-非商业-禁止演绎4.0国际许可证 一、若干引理 1、引理1.0 1、连续随机向量函数 考虑一般情况，我们有随机向量 x∼f(x)\displaystyle \bm{x}\sim f(\bm{x})x∼f(x)。现在有函数 y=g(x):Rk↦Rd\displaystyle \bm{y}=\bm{g}(\bm{x}):\mathbb{R}^k\ma

很多现实问题的原始特征分布都可以看作多维高斯分布，本文以数据特征服从多维高斯分布的多分类任务这一理想场景为例，从理论层面分析数据特征和分类问题难度的关系

参考文献：PRML

多维高斯分布详解

4.1 Introduction 介绍4.1.1 Notation 符号一般矩阵用大写加粗的字母，向量用小写加粗字体。4.1.2 Basics 基础回顾一下多元高斯概率密度函数：N(x|μ,Σ)≜1(2π)D/2|Σ|1/2exp[−12(x−μ)TΣ−1(x−μ)]\mathcal{N}(\mathbf{x}|\boldsymbol{\mu}, \mathbf{\Sigma}) \triangle

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且

数据挖掘中的高斯分布高斯分布，无论是单变量还是多元变量，在统计数据挖掘中是非常有用的，包括一些底层数据假设是高度非高斯的数据挖掘模型。我们需要好好了解多元高斯。为什么我们应该关注它 高斯像橘子汁和阳光一样是自然存在的 我们需要它来理解贝叶斯最优分类器 我们需要它来理解回归 我们需要它来理解神经网络 我们需要它来理解混合模型 …… PDF（概率密度函数）的熵 分布的熵越大，预测就越困难，压缩就越困难

在深入了解多元高斯分布前，可以先了解一下一元高斯分布。 接下来对多元高斯分布进行详细的说明与推导。 对于 维的向量（连续变量），多变量（多元， multivariate Gaussian）高斯分布形式为： 式中的是 维的均值向量，是的协方差矩阵（covariance matrix），是的行列式（determinan...

  图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i 的像素所占的比例，则定义灰度图象的一元灰度熵为：H = -Ei=0 255PilnPi        (其中，EE i=0255表示从灰度0到255进行求和运算，因为公式无法输入，暂且这样表示)  图象的一维熵可以表示图像灰度

一、熵 对于离散型随机变量，当它服从均匀分布时，熵有极大值。取某一个值的概率为1，取其他所有值的概率为0时，熵有极小值（此时随机变量退化成确定的变量）。对于离散型随机变量，假设概率质量函数为p(x)，熵是如下多元函数 ： 伯努利分布的熵为： 对于连续型随机变量，假设概率密度函数为p(x)，熵（也称为微Differential Entropy分熵 ）定义为： 二、联合熵 联合熵（Joint Entropy）是熵对多维概...

PRML的2.3节一开始就给出了多维高斯分布的形式： N(x∣μ,Σ)=1(2π)d2∣Σ∣12exp⁡{−12(x−μ)TΣ−1(x−μ)}(1)\begin{aligned}\Bbb{N}(\mathbf x|\mathbf{\mu},\mathbf\Sigma) &=\frac{1}{(2\pi)^{\frac{d}{2}}\left|\Sigma\right|^\frac{...

信息熵是概率论在信息论的应用，它简洁完整，比统计方法更具有计算优势。在机器学习中经常用到信息熵概念，比如决策树、逻辑回归、EM算法等。本文初略介绍一个皮毛，更多细节等展开继续讨论。

1 概率图模型 是指一种用图结构来描述多元随机变量之间条件独立关系的 概率模型，从而给研究高维空间中的概率模型带来了很大的便捷性 其中有三个基本问题 （1） 表示问题：对于一个概率模型，如何通过图结构来描述变量之间的依 赖关系． （2） 学习问题：图模型的学习包括图结构的学习和参数的学习．在本章中， 我们只关注在给定图结构时的参数学习，即参数估计问题． （3） 推断问题：在已知部分变量时，计算其他变量的条件概率分布 1.2 概率图的学习问题 图模型的学习可以分为两部分：一...

一.什么是熵 Ⅰ.信息量 首先考虑一个离散的随机变量x,当我们观察到这个变量的一个具体值的时候,我们接收到多少信息呢? 我们暂时把信息看做在学习x的值时候的”惊讶程度”(这样非常便于理解且有意义).当我们知道一件必然会发生的事情发生了,比如往下掉的苹果.我们并不惊讶,因为反正这件事情会发生,因此可以认为我们没有接收到信息.但是要是一件平时觉得不可能发生的事情发生了,那么我们接收到的信息要大得多.因此,我们对于信息内容的度量就将依赖于概率分布p(x). 因此,我们想要寻找一个函数h(x)来表示信息的多少且