K-L变换-机器学习

K-L变换的理论知识

K-L变换是除了PCA外的另一种常用的特征提取方法，它有很多种形式，最基本的形式跟PCA类似，它跟PCA的不同在于，PCA是一种无监督的特征变换，而K-L变换能够考虑到不同的分类信息，实现有监督的特征提取。

根据随机过程中的KL展开理论，将随机过程描述为无数个正交函数的线性组合，而在模式识别问题中，通常可以将一个样本看成是随机向量的某一次实现结果，所以假设有一d维随机向量x，可以写成一组正交基的线性组合，且它们的模为1：

对上式变形得到：

                           （初见K-L变换，通常需要先对样本进行零均值化或平移）

假设有用信息就集中在其中的q维上，那么现在我们来尝试用着q维去近似x：

近似前后样