机器学习——主成分分析（PCA）

于 2025-06-16 16:39:41 发布
阅读量2k 收藏 48
点赞数 48
CC 4.0 BY-SA版权
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzl123668/article/details/148695041

主成分分析（PCA）的深入解析

主成分分析（Principal Component Analysis, PCA）是机器学习和数据分析中最基础且应用广泛的降维技术。下面从理论基础、数学推导、算法实现到实际应用进行全面阐述。

理论基础

1. 数据降维的动机
  • 维度灾难：高维数据在可视化、存储和计算时面临挑战
  • 特征冗余：原始特征间可能存在高度相关性
  • 噪声影响：过多特征可能包含噪声，影响模型性能
2. PCA 的目标
  • 最大方差方向：找到一组正交基，使得数据在这些方向上的投影方差最大
  • 最小重构误差：用低维子空间表示原始数据时，信息损失最小
3. 几何解释

PCA 可以理解为：

  • 将坐标系旋转至数据方差最大的方向
  • 数据在新坐标系下的投影构成主成分
  • 丢弃方差较小的方向，保留主要信息

数学推导

1. 协方差矩阵

给定数据集 \(X \in \mathbb{R}^{n \times p}\)（n 个样本，p 个特征），中心化后的数据为： \(X_{\text{centered}} = X - \bar{X}\) 其中 \(\bar{X}\) 是每个特征的均值向量。

协方差矩阵 S 定义为： \(S = \frac{1}{n-1} X_{\text{centered}}^T X_{\text{centered}}\) S 是对称半正定矩阵，其对角元素是各特征的方差，非对角元素是特征间的协方差。

2. 优化目标

第一个主成分 \(w_1\) 是使得投影方差最大的方向： \(\max_{||w||=1} \frac{1}{n} \sum_{i=1}^n (x_i^T w)^2 = \max_{||w||=1} w^T S w\) 通过拉格朗日乘数法求解，得到： \(S w = \lambda w\) 即 w 是协方差矩阵 S 的特征向量，对应的特征值 \(\lambda\) 是投影方差。

3. 主成分的性质
  • 主成分之间正交（不相关）
  • 主成分按方差递减排序
  • 总方差等于所有特征值之和
  • 第 k 个主成分解释的方差比例为 \(\frac{\lambda_k}{\sum_{i=1}^p \lambda_i}\)
4. 降维与重构

选择前 k 个特征向量 \(W_k = [w_1, w_2, ..., w_k]\)，数据投影到低维空间： \(Z = X W_k\) 从低维表示重构原始数据： \(\hat{X} = Z W_k^T = X W_k W_k^T\) 重构误差为： \(||X - \hat{X}||^2 = \sum_{i=k+1}^p \lambda_i\)

算法实现

下面实现一个完整的 PCA 类，包含数据标准化、方差解释率计算和数据重构功能：

import numpy as np

class PCA:
    def __init__(self, n_components=None, normalize=True):
        """
        初始化PCA模型
        
        参数:
        n_components: 保留的主成分数量，None表示保留所有成分
        normalize: 是否对数据进行标准化
        """
        self.n_components = n_components
        self.normalize = normalize
        self.components_ = None  # 主成分
        self.explained_variance_ = None  # 各主成分的方差
        self.explained_variance_ratio_ = None  # 方差解释率
        self.mean_ = None  # 原始数据均值
        self.std_ = None  # 原始数据标准差
    
    def fit(self, X):
        """拟合PCA模型"""
        # 数据中心化
        self.mean_ = np.mean(X, axis=0)
        X_centered = X - self.mean_
        
        # 数据标准化（如果需要）
        if self.normalize:
            self.std_ = np.std(X_centered, axis=0, ddof=1)
            # 避免除以零
            self.std_[self.std_ == 0] = 1
            X_centered = X_centered / self.std_
        else:
            self.std_ = np.ones(X.shape[1])
        
        # 计算协方差矩阵
        n_samples = X.shape[0]
        cov_matrix = np.dot(X_centered.T, X_centered) / (n_samples - 1)
        
        # 特征值分解
        eigenvalues, eigenvectors = np.linalg.eigh(cov_matrix)
        
        # 按特征值降序排序
        idx = np.argsort(eigenvalues)[::-1]
        eigenvalues = eigenvalues[idx]
        eigenvectors = eigenvectors[:, idx]
        
        # 选择主成分
        if self.n_components is None:
            self.n_components = X.shape[1]
        elif isinstance(self.n_components, float) and 0 < self.n_components < 1:
            # 按方差解释率选择主成分
            explained_variance_ratio = eigenvalues / np.sum(eigenvalues)
            cumulative_variance = np.cumsum(explained_variance_ratio)
            self.n_components = np.argmax(cumulative_variance >= self.n_components) + 1
        
        self.components_ = eigenvectors[:, :self.n_components]
        self.explained_variance_ = eigenvalues[:self.n_components]
        self.explained_variance_ratio_ = self.explained_variance_ / np.sum(eigenvalues)
        
        return self
    
    def transform(self, X):
        """将数据转换到主成分空间"""
        X_centered = X - self.mean_
        if self.normalize:
            X_centered = X_centered / self.std_
        return np.dot(X_centered, self.components_)
    
    def fit_transform(self, X):
        """拟合模型并转换数据"""
        self.fit(X)
        return self.transform(X)
    
    def inverse_transform(self, X_transformed):
        """将主成分空间的数据重构回原始空间"""
        X_centered = np.dot(X_transformed, self.components_.T)
        if self.normalize:
            X_centered = X_centered * self.std_
        return X_centered + self.mean_
    
    def get_covariance(self):
        """获取协方差矩阵的低秩近似"""
        return np.dot(self.components_ * self.explained_variance_, self.components_.T)

# 使用示例
if __name__ == "__main__":
    # 生成示例数据
    np.random.seed(42)
    n_samples = 100
    n_features = 5
    
    # 创建相关特征
    X = np.random.randn(n_samples, n_features)
    X[:, 2] = 0.5 * X[:, 0] + 0.3 * X[:, 1] + np.random.randn(n_samples) * 0.1
    X[:, 4] = 0.7 * X[:, 3] + np.random.randn(n_samples) * 0.2
    
    # 应用PCA
    pca = PCA(n_components=2, normalize=True)
    X_pca = pca.fit_transform(X)
    
    print("原始数据形状:", X.shape)
    print("降维后数据形状:", X_pca.shape)
    print("方差解释率:", pca.explained_variance_ratio_)
    print("累计方差解释率:", np.sum(pca.explained_variance_ratio_))
    
    # 数据重构
    X_reconstructed = pca.inverse_transform(X_pca)
    reconstruction_error = np.mean((X - X_reconstructed) ** 2)
    print("重构误差:", reconstruction_error)

PCA 的变种与扩展

1. 核 PCA (Kernel PCA)
  • 处理非线性数据降维
  • 通过核函数将数据映射到高维特征空间，再应用 PCA
  • 常用核函数：RBF 核、多项式核、Sigmoid 核
2. 增量 PCA (Incremental PCA)
  • 处理大规模数据集，分批次计算主成分
  • 适合内存无法一次性加载全部数据的情况
3. 稀疏 PCA (Sparse PCA)
  • 产生稀疏的主成分，便于解释
  • 每个主成分只依赖于少数原始特征
4. 鲁棒 PCA (Robust PCA)
  • 对离群点和噪声更鲁棒
  • 将数据分解为低秩部分和稀疏噪声部分

实际应用案例

1. 图像压缩与重构
  • 将人脸图像（高维数据）用 PCA 降维
  • 保留主要特征，丢弃次要细节
  • 实现图像压缩和去噪
2. 基因数据分析
  • 分析基因表达数据（通常维度很高）
  • 发现样本间的主要变异模式
  • 识别潜在的生物标志物
3. 金融风险分析
  • 对股票收益率数据进行 PCA
  • 识别市场的主要风险因子
  • 构建投资组合，降低非系统性风险
4. 数据可视化
  • 将高维数据（如客户特征、文本向量）降维到 2D 或 3D
  • 直观展示数据分布和聚类模式
  • 辅助决策和洞察发现

使用 PCA 的最佳实践

  1. 数据预处理：

    • 对特征尺度差异较大的数据进行标准化
    • 处理缺失值和异常值

  2. 确定主成分数量：

    • 查看方差解释率曲线（Elbow 方法）
    • 根据业务需求保留足够的方差（通常 80%-95%）

  3. 结果解释：

    • 分析主成分的载荷（特征向量）
    • 理解每个主成分代表的潜在含义

  4. 与其他方法结合：

    • PCA + 聚类：发现数据的自然分组
    • PCA + 回归：减少多重共线性，提高模型稳定性
    • PCA + 深度学习：作为特征预处理步骤

PCA 是一种强大的工具，但并非适用于所有场景。在处理非线性数据时，可考虑使用 t-SNE、UMAP 等非线性降维方法；在有标签数据上，可使用线性判别分析（LDA）等监督降维技术。

R语言对表达谱样本做PCA分析
Mrrunsen的博客
01-25 831
主成分分析（Principal component analysis, PCA）是一种数学算法，它可以在减少数据维度的同时，保留数据集中绝大多数的变量[1]。 PCA通过对主成分进行辨别，找出一个方向，并沿此方向分布的数据为最大值，从而减少数据维度。通过采用这样的主成分，便可以只选用若干变量而不是上千的变量来对一种样品进行分析了。 这样，就可以将样品有关变量绘制成图，使得样品间的相似性和相异之处一目了然，对不同样品是否可以归为一组，也一清二楚。这里我们主要解析如何利用R语言，基于表达谱中基因的表达值做PCA
『ML笔记』PCA(Principal Component Analysis)降维全面解读+python实现！
AI新视界
06-09 975
PCA(Principal Component Analysis)降维+python实现！ 文章目录一、数据降维二、`PCA`主成分分析原理 一、数据降维 许多机器学习问题涉及训练实例的几千甚至上百万个特征，这不仅导致训练非常的缓慢，也让我们很难找到好的解决方案。这个问题通常称为维度诅咒！幸运的是，对现实世界的问题，我们一般可以大量减少特征的数量，将棘手的问题转化为容易解决的问题。例如，MNIS...
image 降维
OdayCollector的博客
08-16 591
AutoZOOM使用卷积AutoEncoder,训练时用不同训练集; AutoEncoder的网络结构: Qeba: Query-efficient boundary-based blackbox attack 对比了三种降维方法: 双线性插值,低频空间,PCA 其中双线性插值, 双线型内插值算法就是一种比较好的图像缩放算法，它充分的利用了源图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值. ...
PCA：详解主成分分析
最新发布
wfengzi5的博客
04-08 4953
主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。
主成分分析（PCA）原理详解
热门推荐
李春春的专栏
03-04 46万+
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处
PCA的数学原理
wxing2008666的专栏
06-28 6650
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数
PCA主成分分析
A18650363735的博客
06-23 1813
现有样本如下可以明显看到x1和x2是相关的，它们之间存在信息冗余例如知道x1很大，那就知道x2也小不到哪去，这就是信息冗余。
机器学习——主成分分析PCA（Principal Component Analysis）
weixin_74340055的博客
06-24 1190
PCA（Principal Component Analysis，主成分分析）是一种无监督学习的降维方法。它基于一个简单的前提：一个高维数据集可能包含许多冗余或相关的特征，而这些特征可能并不都包含有价值的信息。PCA的目标是通过线性变换找到数据的主要成分，即数据的最大方差方向，并将数据投影到这些主要成分上，从而在保持数据的主要特性的同时降低数据的维度。通过本次实验，我们验证了PCA在人脸识别特征降维中的有效性。
机器学习——主成分分析 PCA
l10020823的博客
12-21 1313
如果你想要访问隐藏的特征，而你认为这些特征可能显示在你的数据的图案中，你要做的所有工作可能就是要确定是否存在隐藏的特征，也就是说，你只想知道第一个主成分的大小。降维a.帮你可视化高维数据b. 减少噪声， 较大的主成分表示主要数据，较小的主成分表示可能的噪声，抛弃小的主成分即可消除噪声c.在使用另一个算法之前，先用PCA进行预处理。也就是归纳或分类任务。
机器学习——主成分分析 PCA简单
m0_63180382的博客
01-01 1049
PCA（Principal Component Analysis）是一种常用的降维方法，通过找到数据中的主成分来减少特征的数量。PCA的过程包括数据预处理、计算协方差矩阵、特征值分解和数据投影等步骤。特征值分解可以得到特征值和特征向量，特征向量表示新的坐标系的方向，特征值表示特征向量的重要程度。可以更深入理解PCA原理：深入理解PCA的数学原理和几何意义，包括如何选择主成分、如何解释方差的保留率等。
机器学习实战(8)：降维技术——主成分分析（PCA）
yweng18的博客
02-19 1978
随着特征维度的增加，数据的稀疏性会急剧上升，导致模型训练变得更加困难。这种现象被称为维度灾难（Curse of Dimensionality）。高维数据不仅增加了计算复杂度，还可能导致过拟合。因此，降维技术成为解决这一问题的重要工具。图1：维度灾难示意图（图片描述：三维空间中展示了低维数据点的分布较为密集，而高维空间中数据点变得稀疏，难以捕捉模式。MNIST 数据集包含 70,000 张 28x28 像素的手写数字图像（0-9）。每张图像被展平为 784 维向量。
主成分分析(PCA)原理及推导
学无常师，负笈不远险阻
12-30 9万+
在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些问题：PCA、SVD、特征值、奇异值、特征向量这些关键词是怎么联系到一起的？又是如何在一个矩阵上体现出来？它们如何决定着一个矩阵的性质？能不能用一种直观又容易理解的方式描述出来？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值