主成分分析（principal component analysis，PCA） 阅读笔记

主成分分析（principal component analysis，PCA）

《模式识别》

零维表达–样本均值

有$n$个$d$维向量的样本$x_1,x_2,\cdots ,x_n$，如何能够用仅仅一个$d$维向量$x_0$来最好的表示$n$个样本，或者更确切地说，希望这个代表向量$x_0$

与各个样本$x_k,k=1,2,\cdots ,n$的距离的平方之和越小越好。定义平方误差准则函数$J_0(x_0)$如下：

$$J_0(x_0)=\sum _{k=1}^n\Vert x_0-x_k{\Vert }_2^2$$

我们要寻找能够使得$J_0(x_0)$最小化的d维向量。这个问题的解是$x_0=m$，其中$m=\frac{1}{n}{\sum }_{i=1}^n{x}_i$是样本均值。证明如下：

KaTeX parse error: Expected 'EOF', got '&' at position 15: J_{0}(x_{0}) =&̲ \sum_{k=1}^{n}…

其中右边一项不依赖于$x_0$，因此当$x_0=m$时取到最小。

一维表达

样本均值时样本数据集的零维表达。非常简单，但缺点是并不能反映出样本之间的不同。通过把全部样本想通过样本均值的一条直线做投影，我们能够得到代表全部样本的一个一维向量。让$\vec{e}$表示这个通过样本均值直线上的单位向量，那么直线的方程为

$$\vec{x}=\vec{m}+a\vec{e}$$

【1.有了方向如何求$a_k$】其中$a$为标量，表示直线上的某个点离开点$\vec{m}$的距离。如果我们用$\vec{m}+a_k\vec{e}$来代表$x_k$，那么通过最小化平方误差准则函数，我们能够得到一组最优的$a_k$的集合，其过程如下：

KaTeX parse error: Expected 'EOF', got '&' at position 46: …{n}, \vec{e}) =&̲ \sum_{k=1}^{n}…

因为$\vec{e}$是单位向量，所以$\Vert \vec{e}{\Vert }^2=1$。上式对$a_k$求偏导，得

$a_k={\vec{e}}^T({\vec{x}}_{}$