PCA（Principal Component Analysis 主成分分析）原理及MATLAB实现

关于PCA的原理参见：

PCA原理

PCA：一种通过特征的线性组合来实现降维的方法，目的就是在尽可能好的代表原始数据的前提下，通过线性变换将样本数据投影到地位空间中。

如图示意，二维样本分别投影到e1、e2上，降维一维数据。



ＭＡＴＬＡＢ中使用princomp（）函数对ＰＣＡ进行封装。

一般调用类型：

[COEEF,SCORE,latent]=princomp(Y);

COEEF：为样本协方差矩阵的（标准化后的）特征向量；即变换空间中的基向量：ｅ１、ｅ２、ｅ３．．．

SCORE：主成分，Ｙ的低维表示，即Ｙ中的数据在主成分分量上的投影；

latent：包含样本协方差矩阵的特征值的向量。

如：

Y=[-1,-2;-1,0;0,0;2,1;0,1];
[COEEF,SCORE,latent]=princomp(Y);

可得

COEEF＝

0.7071　　0.7071

0.7071 　-0.7071

SCORE＝

-2.1213 　0.7071

-0.7071 　-0.7071

　0 　　　　0

2.1213 　　0.7071

0.7071 　　-0.7071

latent＝

2.5

0.5

上述PCA过程主要的计算量是计算样本协方差矩阵的特征值和特征向量。假如有n个d维样本特征向量，则组成的样本矩阵X的大小为n×d，对应的协方差矩阵S的大小为d×d，当维数d很大时会导致PCA计算了很大，会消耗大量内存。

因此需要一种算法减小PCA的计算量——快速PCA

1、奇异值分解（SVD）

SVD的原理及推导过程参见：

奇异值分解详解

知乎话题：奇异值的物理意义是什么

用不同的特征分量，进行重构

clear all;

close all;

clc;

a=imread(‘sophie.jpg’);

a=rgb2gray(a);

[m n]=size(a);

r=rank(double(a));

[s v d]=svd(double(a));

re01=s(:,:)*v(:,1:1)*d(:,1:1)’;

re1=mat2gray(re01);

re02=s(:,:)*v(:,1:3)*d(:,1:3)’;

re2=mat2gray(re02);

re03=s(:,:)*v(:,1:5)*d(:,1:5)’;

re3=mat2gray(re03);

re04=s(:,:)*v(:,1:20)*d(:,1:20)’;

re4=mat2gray(re04);

re05=s(:,:)*v(:,1:40)*d(:,1:40)’;

re5=mat2gray(re05);

figure;

subplot(2,3,1),subimage(a);

title(‘原图’);

subplot(2,3,2),subimage(re1);

title(‘1*1’);

subplot(2,3,3),subimage(re2);

title(‘3*3’);

subplot(2,3,4),subimage(re3);

title(‘5*5’);

subplot(2,3,5),subimage(re4);

title(‘20*20’);

subplot(2,3,6),subimage(re5);

title(‘40*40’);

运行效果如图：