机器学习之主成分分析

于 2025-06-07 00:30:00 发布
阅读量1.4k 收藏 33
点赞数 37
CC 4.0 BY-SA版权
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81070144/article/details/148409257

目录

一、核心思想与目标

二、数学原理与推导

2.1 关键概念

2.2 推导步骤

三、利用PCA进行人脸识别

四、总结

 

一、核心思想与目标

主成分分析（Principal Component Analysis, PCA）是一种无监督学习的降维算法，核心思想是通过线性变换将原始高维数据映射到低维空间，同时尽可能保留数据的主要方差（即信息）。
目标：

  1. 降低数据维度，简化计算复杂度。
  2. 去除数据中的冗余信息（相关性），提取最具代表性的 “主成分”。

二、数学原理与推导

假设原始数据为 n 维随机变量 X=(X1​,X2​,…,Xn​)的T次方，需将其降至 k 维（k<n）。

2.1 关键概念

  • 主成分：原始变量的线性组合，彼此正交（不相关），且按方差从大到小排序。
    第 i 个主成分 Yi​ 表示为：
    其中 ai​ 是单位向量（∥ai​∥=1），称为主成分载荷向量。

  • 方差与协方差：主成分的方差越大，携带的信息越多。 PCA 通过最大化方差来筛选主成分。
    原始数据的协方差矩阵为 ，其中 μ 是均值向量。

2.2 推导步骤

  1. 数据标准化：
    对原始数据进行均值归一化和方差归一化，使各变量均值为 0，方差为 1，避免量纲影响。标准化后的数据协方差矩阵等于相关系数矩阵。

  2. 计算协方差矩阵：
    设标准化后的数据矩阵为 （m 个样本，n 个特征），协方差矩阵为：

  3. 特征值分解或奇异值分解（SVD）：

    • 特征值分解：对协方差矩阵 Σ 进行分解，得到特征值 λ1​≥λ2​≥⋯≥λn​≥0 和对应的特征向量 v1​,v2​,…,vn​。
      特征向量构成正交矩阵 V=[v1​,v2​,…,vn​]，主成分载荷向量即前 k 个特征向量。
    • 奇异值分解（更高效）：对标准化数据矩阵 X 直接进行 SVD：。
      其中 V 的列向量即为协方差矩阵的特征向量，奇异值 σi​ 与特征值 λi​ 的关系为。

  4. 选择主成分数量 k：
    根据累计方差贡献率确定 k，即前 k 个特征值之和占总特征值之和的比例：累计方差贡献率=∑i=1n​λi​∑i=1k​λi​​×100%
    通常取贡献率达 80%~95% 的最小 k 值。

  5. 映射数据到低维空间：
    原始数据 X 通过前 k 个特征向量投影到低维空间，得到主成分矩阵 Y：Y=XVk​
    其中 Vk​=[v1​,v2​,…,vk​] 是前 k 个特征向量组成的矩阵。


三、利用PCA进行人脸识别

1.数据准备

        本次实验的数据集ORL-Faces包含40个人，每人拥有10张正脸照片，取每个人的7张照片，作为训练数据。那么每个人剩下的3张照片，计算机还没有看过，就可以在计算机认识了每一个人之后用来考验计算机是否真的能够正确识别图像中的人是谁。

2.创建每个训练样本组成的M*N矩阵

 
bigList = []
# 导入人脸模型库
faceCascade = cv2.CascadeClassifier(r'C:\Python\haarshare\haarcascade_frontalface_alt.xml')
# 遍历30个人
for i in range(1, 31):
    # 遍历每个人的7张照片
	for j in range(1, 8):
		list = []
        # 直接读入灰度照片
		image = cv2.imread("C:\\Users\\tangyitao\\Pictures\\Saved Pictures\\trainFace\\train"
								+ str(i) + "\\train" + str(i) + "" + str(j) + ".jpg", 0)
		faces = faceCascade.detectMultiScale(image, 1.3, 5)
		for (x, y, w, h) in faces:
            # 裁剪人脸区域为 128 * 128 大小
			cutResize = cv2.resize(image[y:y + h, x:x + w], (128, 128),
										interpolation=cv2.INTER_CUBIC)  
        # 遍历图片行数
		for x in range(cutResize.shape[0]):
            # 遍历图片每一行的每一列
			for y in range(cutResize.shape[1]):
                # 将每一处的灰度值添加至列表
				list.append(cutResize[x, y]) 
		bigList.append(list)
print("\n\ntrainFaceMat ")
trainFaceMat = numpy.mat(bigList)  # 得到训练样本矩阵
print("trainFaceMat.shape[0] ",trainFaceMat.shape[0])
print("trainFaceMat.shape[1]",trainFaceMat.shape[1])
print(trainFaceMat)

3.得到规格化的训练样本数据 

meanFaceMat = numpy.mean(trainFaceMat, axis=0)  # 每一列的和除行数，得到平均值
print("meanFaceMat \n\n")
print("meanFaceMat.shape[0] ",meanFaceMat.shape[0])
print("meanFaceMat.shape[1] ",meanFaceMat.shape[1])
print(meanFaceMat)
normTrainFaceMat = trainFaceMat - meanFaceMat
print("\n\n normTrainFaceMat")
print("normTrainFaceMat.shape[0]  ",normTrainFaceMat.shape[0])
print("normTrainFaceMat.shape[1]  ",normTrainFaceMat.shape[1])
print(normTrainFaceMat)

4.计算协方差矩阵并求的特征值和特征向量 

covariance = numpy.cov(normTrainFaceMat)
# 求得协方差矩阵的特征值和特征向量
eigenvalue, featurevector = numpy.linalg.eig(covariance)

5.对特征值进行排序并保留k个最大特征值的特征向量 

sorted_Index = numpy.argsort(eigenvalue)
topk_evecs = featurevector[:,sorted_Index[:-140-1:-1]]

 6.计算投影 

7.创建测试样本矩阵 

# 主要思想和第一步计算trainFaceMat差不多,这里只需要添加一张照片的数据
list = []
faceCascade = cv2.CascadeClassifier(r'C:\Python\haarshare\haarcascade_frontalface_alt.xml')
# fileName 为待识别图片的文件名,读入灰度人脸
image = cv2.imread(fileName, 0)
faces = self.faceCascade.detectMultiScale(self.image, 1.3, 5)
for (x, y, w, h) in self.faces:
	cut = image[y:y + h, x:x + w]
	# 处理成 128 * 128大小的人脸
	cutResize = cv2.resize(cut, (128, 128), interpolation=cv2.INTER_CUBIC)
for x in range(cutResize.shape[0]):
	for y in range(cutResize.shape[1]):
		list.append(cutResize[x, y])
testFaceMat = numpy.mat(list)

8.进行规格化 
normTestFaceMat = testFaceMat - meanFaceMat

9.计算欧式距离找到匹配人脸 

eigen_test_sample = numpy.dot(normTestFaceMat, eigenface)
# 以 eigen_train_sample[0]与eigen_test_sample的欧式距离赋值 minDistance
minDistance = numpy.linalg.norm(eigen_train_sample[0] - eigen_test_sample)
# num 记录训练集中第几个人与待识别人为同一人
num = 1
# 遍历 eigen_train_sample 的每一行，在此处，eigen_train_sample.shape[0] = 210。
for i in range(1, eigen_train_sample.shape[0]):
    distance = numpy.linalg.norm(eigen_train_sample[i] - eigen_test_sample)
	if minDistance > distance:
		minDistance = distance
        # 30个人中，每个人有7张照片，i是记录的第几张照片
        # 因此记录第几个人的num为 i // 7 + 1。
		num = i // 7 + 1

 

四、总结


        PCA作为机器学习中经典的线性降维算法，通过”最小重构误差“为目标导向对数据进行投影实现降维，如今仍然在机器学习许多领域（语言图像处理、数据可视化）有优异表现。它在降低数据复杂性，降低运算量上有显著优势。但作为一种无监督学习方法（对训练样本没有做标注），在对数据完全无知的情况下，PCA并不能得到较好的保留数据信息并且有可能损失重要信息，且PCA对于主成分的分析判断是影响实验结果的重要因素，另外，PCA对于非线性的数据降维效果较差，我们在进行非线性数据降维时最好采用其它方法。

 

 

 

 

 

 

 

 

 

 

 

 

可颂夹心
关注
机器学习系列-主成分分析
bubingyang的博客
11-22 976
PCA降维一些机器学习算法在处理高维数据时，性能会出现明显下降，这就是所谓的“维度灾难”，为此人们开始对算法进行改进。与此同时，对降维的需求催生了降维算法，比如本文要介绍的主成分分析（Principal Component Analysis，PCA）。在开始本文的主要内容之前，我想先举一个关于降维的例子：有5个点，坐标如下表所示： id x y 1 5.0 1.4 2
【机器学习】主成分分析
HerosOfEarth的博客
08-07 1647
PCA方法把数据从原来的坐标系转换到一个新的坐标系，坐标系的方向要根据数据的方差决定。
机器学习之主成分分析（PCA）
Tracy_LeBron的博客
02-20 1152
PCA(principal Component Analysis),即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分。是在原有的n维特征的基础上重新构造出来的k维特正，而不是大家误认为的从n维特征中选取k个。 PCA有最大方差理论和最小平方误差理论两种解释方式，本文是从最大方差理论角度出发。在信号领域认为信号具有较大的...
机器学习-主成分分析（PCA)
2301_79735965的博客
01-01 796
这次实验我们了解了关于主成分分析（PCA）的具体运用方法，了解了它的概念方法，原理，以及实战的一些方法。知道了PCA是一种无监督学习算法，它通过最大化方差来选择主成分，但在降维过程中可能会丢失一些重要信息，特别是低方差的主成分往往包含了一些有用的局部模式。同时，PCA只能处理线性关系，对于非线性关系的数据降维效果不好。PCA是一种简单而有效的降维算法，在很多数据处理和特征提取的场景下都有广泛应用。然而，对于一些特定问题，可能需要考虑其他更适合的降维方法，例如流形学习等非线性降维技术。
机器学习——主成分分析（PCA）
TXQIHYJ的博客
01-01 1955
给定n个样本（每个样本维度为p维）：定义为样本在第一主成分/主方向a1上的投影:其中我们的目标是找到a1, 使z1的方差最大。ORL人脸数据集一共包含40个不同人的400张图像，此数据集下包含40个目录，每个目录下有10张图像，每个目录表示一个不同的人。所有的图像是以PGM格式存储，灰度图，图像大小宽度为92，高度为112。主成分分析（PCA）是一种常用的多变量数据降维技术，具有广泛的应用领域。
机器学习之主成分分析.pdf
01-19
### 机器学习中的主成分分析（PCA） #### 引言 主成分分析（Principal Component Analysis，简称PCA）是一种广泛应用于数据降维的技术，在机器学习、数据挖掘等领域具有重要的地位。通过对高维数据进行线性变换，...
机器学习之主成分分析PCA数据降维
01-20
PCA即主成分分析技术。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标...
大数据机器学习之主成分分析 Iris 数据集.zip
01-02
from sklearn import datasets import numpy as np iris = datasets.load_iris() x = iris.data[:,:4]#前4个维度 # x = iris.data y = iris.target print("class labels: ", np.unique(y)) from sklearn.model_...
机器学习之主成分分析案例-红酒主成分分析
Jacklx888的博客
07-20 924
在机器学习中，主成分分析（PCA）是一种有效的降维技术，它通过寻找数据中的主成分来减少特征数量，同时尽量保留数据的结构。本案例将使用Python的`scikit-learn`库，结合红酒数据集，展示如何使用PCA进行特征降维，并比较降维前后模型预测性能的变化。
基于主成分分析的人脸识别
01-15
专业综合实践代码，内附人脸库，代码可运行，识别正确率80%以上。测试时使用为本人图片，所以未上传，需要更改一下图像路径
基于主成分分析(PCA)的人脸识别系统源代码
09-04
基于主成分分析(PCA)的人脸识别系统源代码
（大三）机器学习-主成分分析（PCA）应用于人脸识别
m0_61281610的博客
01-01 2234
主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到这些维度上，使降维后信息量损失最小。数据中心化计算协方差矩阵计算特征值和特征向量选择主成分数据投影。
基于OpenCV的人脸识别算法之一---理论基础
LIT_Elric的博客
04-12 3176
摘 要：人脸识别几乎是所有刚入门机器视觉方面的同学最感兴趣的一个方面，当然我也不例外。利用OpenCV，我们可以很方便的就实现人脸识别算法，当然精度有待提高，所以就要求我们必须掌握其原理才能更进一步的提升自己的能力。这里给出利用OpenCV实现人脸识别程序的整个流程，一来巩固自己所学的知识，二来也能帮助刚入门的同学们。本文首先介绍了OpenCV中FaceRecognizer类的理论基础，然后结合具...
PCA主成分分析应用于人脸识别的MATLAB实现
问天的博客
04-13 8394
主成分分析PCA——人脸识别MATLAB实现 我在学习PCA降维以压缩数据的时候发现可以通过它来实现人脸识别，查阅了大量资料，除了矩阵求导具体推导没有太懂之外，弄懂了所由原理和技术细节，并在ORL_92x112人脸数据集实现了人脸识别。 这篇博客是相当于我的工程说明书，没有涉及PCA的具体原理，时间太紧1551，原理详解可能会在日后给出，fighting！ 可以说的一点是PCA人脸识别关键是...
主成分分析(PCA)
最新发布
blinkyou001的博客
08-11 1万+
本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。
主成分分析（PCA）
智能2212-45-杨豪
06-24 891
主成分分析（Principal Component Analysis，PCA）是一种常用的统计方法，它可以通过线性变换将原始数据变换为一组各维度线性无关的表示，通常用于降维和数据的预处理。主成分分析（PCA）是一种常用的统计方法，它通过线性变换将原始数据转换为一组各维度线性无关的表示，用于降维和数据的预处理。PCA的工作原理是通过计算数据中心化后属性的协方差矩阵，进行特征分解，选择最重要的特征向量作为主成分，并将原始数据投影到这些主成分上形成新的数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值