降维算法之LDA原理推导

    


































6. LDA算法的主要优点有：1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。7.LDA算法的主要缺点有：1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题。3）LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。4）LDA可能过度拟合数据。8. LDA与PCA相同点：　　　　1）两者均可以对数据进行降维。　　　　2）两者在降维时均使用了矩阵特征分解的思想。　　　　3）两者都假设数据符合高斯分布。不同点：　　　　1）LDA是有监督的降维方法，而PCA是无监督的降维方法　　　　2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。　　　　3）LDA除了可以用于降维，还可以用于分类。　　　　4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。       　  在某些数据分布下LDA比PCA降维较优,如下图所示: