主成分分析（principal components analysis, PCA）

首先推荐一篇关于eigenvalue/eigenvector的文章，有助于理解PCA的理论原理：http://blog.sina.com.cn/s/blog_49a1f42e0100fvdu.html

PCA的思想就是找到数据集的主轴方向，由这些主轴构成一个新的坐标系，它的维数小于原数据，这样原数据向新的坐标系投影，这个投影的过程就是降维的过程，得到的新数据就是主观认为的数据特征。

PCA的缺点，忽略了原数据矩阵中，向量分量间的顺序是有意义的，顺序的不同代表了完全不同的信息，不能判断一个矩阵的局部其实是对应另一个矩阵上不同位置的局部。

PCA算法步骤：

（1）获得样本特征平均矩阵meanX和协方差举证covX；

（2）对角化矩阵covX，获得转换矩阵W和对应的特征值，W就是新的坐标系，W按照对应特征值俺由大到小排列。

（3）原数据X在坐标系W投影，获得降维数据Y；

贴一段matlab实现的PCA代码：

%PCA

%Feature Matricx cx. Each column represents a feature and
%each row a sample data

cx = [1.4000 1.5500
3.0000 3.2000
0.6000 0.7000
2.2000 2.3000
1.8000 2.1000
2.0000 1.6000
1.0000 1.1000
2.5000 2.4000
1.5000 1.6000
1.2000 0.8000
2.1000 2.5000];
[m, n] = size(cx);

%Data Graph
figure(1);
plot(cx(:,1),cx(:,2),'k+');    hold on;    %Data
plot(([0,0]),([-1,4]),'k-');   hold on;    %X axis
plot(([-1,4]),([0,0]),'k-');               %Y axis
axis([-1,4,-1,4]);
xlabel('Feature 1');
ylabel('Feature 2');
title('Original Data');

%Covariance Matrix
covX=cov(cx);
%Covariance Matrix using the matrix definition
meanX=mean(cx);
cx1=cx(:,1)-meanX(1);
cx2=cx(:,2)-meanX(2);
Mcx=[cx1 cx2];
covX=(transpose(Mcx)*(Mcx))/(m-1);

pause();

%Covariance Matrix using alternative definition
meanX=mean(cx);
covX=((transpose(cx)*(cx))/(m-1))-((transpose(meanX)*meanX)*(m/(m-1)));

%Compute Eigenvalues and Eigenvector
[W L]=eig(covX);   %W=Eigenvalues L=Eigenvector

%Eigenvector Graph
figure(2);
plot(cx(:,1), cx(:,2), 'k+');  hold on;
plot(([0,W(1,1)*4]), ([0,W(1,2)*4]),'k-'); hold on;
plot(([0,W(2,1)*4]), ([0,W(2,2)*4]),'k-');
axis([-4,4,-4,4]);
xlabel('Fecture 1');
ylabel('Fecture 2');
title('Eigenvectors');

%Transform Data
cy=cx*transpose(W);

%Graph Transformed Data
figure(3);
plot(cy(:,1),cy(:,2),'k+');    hold on;
plot(([0,0]),([-1,5]),'k-');   hold on;
plot(([-1,5]),([0,0]),'k-');
axis([-1,5,-1,5]);
xlabel('Feature 1');
ylabel('Feature 2');
title('Transformed Data');

%Classification example
meanY=mean(cy);

%Graph of classification example
figure(4);
plot(([-5,5]),([meanY(2),meanY(2)]),'k:');    hold on;
plot(([0,0]),([-1,5]),'k-');   hold on;
plot(([-1,5]),([0,0]),'k-');   hold on;
plot(cy(:,1),cy(:,2),'k+');    hold on;
axis([-1,5,-1,5]);
xlabel('Feature 1');
ylabel('Feature 2');
title('Classification Example');
legend('Mean',2);

%Compression example d
cy(:,1)=zeros;
xr=transpose(transpose(W)*transpose(cy));

%Graph of compression example
figure(5);
plot(xr(:,1),xr(:,2),'k+');    hold on;
plot(([0,0]),([-1,4]),'k-');   hold on;
plot(([-1,4]),([0,0]),'k-');   hold on;
plot(cx(:,1),cx(:,2),'r+');    hold on;
axis([-1,4,-1,4]);
xlabel('Feature 1');
ylabel('Feature 2');
title('Compression Example');