线性鉴别分析(LDA)之二分类问题

线性鉴别分析是有监督的学习方法。

已知数据集



子集

和

，满足

，

中的数据属于

类，

中的数据属于

类。

定义两个子集的平均值：
        

，


已知向量

，我们定义：


，

，


显然存在以下关系：


，

，

。

我们接着定义标准差

和

，其中


，

。
下面我们换算一下上面的两个方差公式：


，


其中：


，

。

定义类内散布矩阵

：


。
定义类间散布矩阵

：


。

————————————————————————————————————————————————————————————————————————————

有了以上的定义准则函数：


，
然后寻找

，最大化这个准则函数。对准则函数求导，我们发现


。
而且

和

是平行的。结合这两点我们发现，只要找的

，满足

和

平行即可。如果

是非奇异的，那么我们可以取


，
[align=left]即可。
[/align]

————————————————————————————————————————————————————————————————————————————

求出

后，我们对新的数据

进行预测，预测公式为：


。