Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

Fisher线性判别中散度矩阵的表现形式可以改写,类内散度：

Sw=∑i=1c∑j:yj=i(xj−μi)(xj−μi)T=12∑i,jA(w)ij(xi−xj)(xi−xj)TSw=∑i=1c∑j:yj=i(xj−μi)(xj−μi)T=12∑i,jAij(w)(xi−xj)(xi−xj)T

其中，μi=1ni∑j:yj=ixjμi=1ni∑j:yj=ixj

A(w)ij={1nk,0,if yi=yj=kif yi≠yjAij(w)={1nk,if yi=yj=k0,if yi≠yj

而类间散度为：

Sb=∑i=1cni(μi−μ)(μi−μ))T=12∑i,jnA(b)ij(xi−xj)(xi−xj)TSb=∑i=1cni(μi−μ)(μi−μ))T=12∑i,jnAij(b)(xi−xj)(xi−xj)T

其中，μ=1n∑i=1nxjμ=1n∑i=1nxj

A(b)ij={1n−1nk,1n,if yi=yj=kif yi≠yjAij(b)={1n−1nk,if yi=yj=k1n,if yi≠yj

证明过程如下。

首先证明类内散度SwSw：



而对于另一种表达：



因此，有公式（1）和（2）可知，两者相等，那么类内散度矩阵SwSw的改写得证！

接下来证明类内散度矩阵：



而对于另一种表达：



而公式（4）的前半部分为：



而公式（4）的后半部分为：



那么，根据公式（3）（5）（6）则有



那么，根据公式（3）（7）可知，两公式相等，也即得证。

而在论文M. Sugiyama, Local Fisher Discriminant Analysis for Supervised Dimensionality Reduction, ICML, 2006也对这个问题进行了阐述和证明。在该论文中，是直接由通常的一般式推导至改写式，证明过程为：







证明中同样用到了xi和xjxi和xj的等价性。