Fisher线性判别分析（Linear Discriminant Analysis，LDA）

LDA基本思想：

将高维的样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果。

对于两类问题，可以看做把样本都投影到一个方向上，然后在这个一维空间确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分类面。

投影方向的确定：投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

比如如下右图就是更好的投影方向~





LDA基本步骤（二分类）：

要找到一个投影w



把样本x投影到y上去（x是N*1维的，y是1*1维的，w是1*N维）



目标就是找到w使得maxJ(w)

此时的J(w)还不能显示的表达出与w的关系，再化简，可参考

http://www.cmlab.csie.ntu.edu.tw/~cyy/learning/tutorials/LDA.pdf

化简过后：



w是怎么得来的可参考：

http://www.cmlab.csie.ntu.edu.tw/~cyy/learning/tutorials/LDA.pdf

LDA与PCA的共同点和区别：



共同点：就是都是降维的方法，将样本点投影到某个方向。

区别：

（1）图的左边是PCA，它所作的只是将整组数据整体映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据内部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便(降低了维数并将信息损失降到最低)，但在分类上也许会变得更加困难；

（2）图的右边是LDA，可以明显看出，在增加了分类信息之后，两组输入映射到了另外一个坐标轴上，有了这样一个映射，两组数据之间的就变得更易区分了(使类间分开，类内集中。在低维上就可以区分，减少了很大的运算量)。

（3）PCA 是无监督的，它所作的只是将整组数据整体映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据内部的分类信息，用主要的特征代替其他相关的非主要的特征，所有特征之间的相关度越高越好

参考：

http://blog.csdn.net/warmyellow/article/details/5454943

http://www.cmlab.csie.ntu.edu.tw/~cyy/learning/tutorials/LDA.pdf

http://blog.csdn.net/sunmenggmail/article/details/8071502

张学工编著《模式识别》