PCA降维——主成分分析(principal component analysis,PCA)与LDA（线性判别分析）

LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

LDA

摘要：
     主成分分析(principal component analysis,PCA)是一种将高维数据投影到低维
数据的线性变换方法，这一方法的目的是寻找在最小均方误差意义下最能代表原始数据
特征的投影方向，用这些方向矢量表示数据。本实验的目的是了解PCA主分量分析方法
的基本概念，学习和掌握PCA主分量分析方法的基本概念，学习和掌握PCA主分量分析
方法。利用PCA分析对数据集合进行特征空间的规整化；利用PCA分析对数据集合进行
特征空间降维分析。



协方差矩阵讲解，点击打开链接
标准差和方差一般是用来描述一维数据的；对于多维情况，而协方差是用于描述任意两维数据之间的关系，一般用协方差矩阵来表示。因此协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。