[机器学习]主成分分析(PCA)

已于 2024-09-25 19:53:33 修改
阅读量1k 收藏 18
点赞数 14
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 人工智能
于 2024-06-14 19:04:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73049545/article/details/139607001

目录

一、算法概述

1.1算法简介

1.2算法涉及的相关知识

1.3算法流程

二、算法原理

2.1 PCA最大方差理论 

2.2PCA最小平均方差理论

三、算法实现

3.1 导入数据

3.2 用PCA进行降维

3.3 结果可视化

3.4 完整代码展示

四、总结分析

4.1实验小结

4.2参考书籍

一、算法概述

1.1算法简介

主成分分析（PCA）作为一种常用的数据降维技术，其主要目的是通过线性变换，将原始数据投影到一个新的坐标系中，使得数据在新坐标系中的方差尽可能大，从而减少数据的维度。即找到数据中方差最大的方向，将数据映射到这个方向上，形成第一个主成分。然后，在与第一个主成分正交的方向上找到第二大方差的方向，形成第二个主成分，依此类推。通过选择最大方差的前几个主成分，就可以实现对数据维度的降低。进行降维时，我们希望损失尽可能小，即我们希望降维的标准为：样本点到这个超平面的距离足够近,或者说样本点在这个超平面上的投影能尽可能的分开。

1.2算法涉及的相关知识

（1）向量的内积

A·B=|A||B|cos(a)，即A向量在B向量的方向上的投影的长度

（2）散度

我们需要找到的超平面需满足最大可分性：样本点在这个超平面上的投影能尽可能分开，这个分开的程度我们称之为散度，散度可以采用方差或协方差来衡量（在机器学中，样本的方差较大时，对最终的结果影响会优于方差较小的样本）

（3）方差/协方差

方差用来形容单个维度的样本的波动程度，协方差指多个维度的样本数据的相关性，协方差公式为eq?Cov%28X%2CY%29%3D%5Cfrac%7B%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%28X_%7Bi%7D-%5Cbar%7BX%7D%29%28Y_i-%5Cbar%7BY%7D%29%7D%7B%28n-1%29%7D

其中Cov(X,Y)∈R，绝对值越大说明相关性越高。PCA的首要目标是让投影后的散度最大，因此我们要对所有的超平面的投影都做一次散度的计算，并找到最大散度的超平面。

1.3算法流程

输入：

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
主成分分析(PCA)
blinkyou001的博客
08-11 1万+
本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。
机器学习主成分分析算法 PCA—python详细代码解析（sklearn）
qq_45932996的博客
10-12 3394
在进行数据分析时，我们常常会遇到这样的情况：各个特征变量之间存在较多的信息重叠，也就是相关性比较强。就好比在研究一个班级学生的学习情况时，可能会收集到学生的语文成绩、数学成绩、英语成绩等多个特征变量。但往往会发现，语文成绩好的学生，数学和英语成绩也可能比较好，这就说明这些变量之间存在一定的相关性。这种情况在线性回归分析中被称为多重共线性关系。同时，如果我们的样本观测值数量较少，而选取的变量却很多，就会产生高维数据带来的 “维度灾难” 问题。
主成分分析
weixin_34292287的博客
04-01 225
（转）http://deeplearning.stanford.edu/wiki/index.php/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90 相关blog： http://blog.sina.com.cn/s/blog_6163bdeb0102e8dm.html  涉及pca降维之前数据处理的有关说明。   主成分分析 ...
机器学习——主成分分析（PCA）
最新发布
2301_80841566的博客
06-03 1986
成功地将高维数据投影到二维空间，并通过可视化展示了数据的分布情况通过PCA重建的图像在保留主要特征的同时实现了数据压缩较高的解释方差比表明选择的主成分能够有效地捕捉数据的主要变化这些结果表明PCA是一种有效的降维和特征提取方法，可以用于图像处理和模式识别等领域。然而，需要注意的是，尽管PCA能够保留数据的主要特征，但在某些情况下可能会丢失一些细节信息，因此在实际应用中需要根据具体需求权衡降维的效果和信息损失Xx_%7Bi%7Du_%7Bi%7Dx_%7Bi%7DX%5Csumn%5Csumd。
机器学习——PCA
m0_63038557的博客
01-01 2278
主成分分析（Principal Component Analysis，简称PCA）是一种用于数据降维的技术，旨在通过线性变换将原始数据映射到一个新的坐标系中。在这个新的坐标系中，数据的方差被最大化，这意味着我们将保留尽可能多的原始数据信息。PCA的关键思想是通过找到数据中的主成分，将数据在这些主成分上进行投影，从而实现数据的降维。首先，对原始数据进行标准化处理，确保每个特征的均值为零，标准差为一。这一步骤是为了消除不同特征之间的量纲差异，使得每个特征对PCA的贡献相对均等。
主成分分析法（PCA）
weixin_45142381的博客
10-03 3万+
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。
机器学习主成分分析PCA算法的python实现
11-20
机器学习中的主成分分析（PCA）是一种常用的数据降维技术，它通过线性变换将数据投影到新的坐标系中，使得在新坐标系下的前几个坐标上数据的方差最大，从而达到减少数据维度的目的。PCA算法的核心思想在于寻找数据...
人工智能机器学习-主成分分析PCA降维
09-17
人工智能机器学习-主成分分析PCA降维-MATLAB代码实现 主成分分析（PCA）是一种常用的数据降维技术，通过找到数据中方差最大的方向来实现数据的降维，同时保留数据的主要信息。PCA将原始数据转换为一组新的变量，称为...
机器学习之主成分分析PCA数据降维
01-20
在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分...
机器学习--主成分分析(PCA)
m0_73531849的博客
06-18 1300
PCA 是 （Principal Component Analysis ）的缩写，中文称为主成分分析法。它是一种维数约减（Dimensionality Reduction）算法，即把高维度数据在损失最小的情况下转换为低维度数据的算法。显然，PCA 可以用来对数据进行压缩，可以在可控的失真范围内提高运算速度，提高机器学习的效率，使较为复杂的数据简单化。所谓损失最小就是从高维向低维映射的时候误差最小，低维空间的描述是向量组，k维空间就用k个向量来描述这个空间。
主成分分析法（Principal Component Analysis,PCA）
qq_43587949的博客
10-27 6703
主成分分析法（PCA）：用于提取一系列样本的主要特征，从而在分类、相似度比较、匹配等操作中提高运算效率和算法准确度
主成分分析法
weixin_43485643的博客
08-10 1035
主成分分析法 文章目录主成分分析法一、主成分分析的理解二、使用梯度上升法求解PCA三、求数据的前n个主成分四、将高维数据向低维数据映射五、scikit-learn中的PCA六、对真实数据集MNIST使用PCA七、使用PCA降噪八、PCA与人脸识别我是尾巴： 主成分分析法：(Principle Component Analysis, PCA)，是一个非监督机器学习算法，主要用于数据降维，通过降维...
机器学习——PCA降维（我至今为止遇见的最好的博文）
热门推荐
邹小驴
09-07 5万+
参考文章：https://zhuanlan.zhihu.com/p/77151308 PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与...
Class 14：主成分分析法（PCA）
HaiYang_Gao的博客
11-09 403
机器学习笔记（十三）：主成分分析法（PCA）
云布道师
07-04 1553
凌云时刻 · 技术导读：这篇笔记主要讲解机器学习中经常用到的降维算法PCA。作者 | 计缘来源 |凌云时刻（微信号：linuxpk）前言在机器学习的实际使用中，我们都希望有足够多的样本...
主成份分析
曾青松的专栏
07-23 1513
function main()%*************主成份分析************%读入文件数据X=load(data.txt);%==========方法1:求标准化后的协差矩阵,再求特征根和特征向量=================%标准化处理[p,n]=size(X);for j=1:n mju(j)=mean(X(:,j));
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值