深度解析K-L变换 及其 在特征识别中的应用

1.K-L变换定义、意义

 K-L变换也常称为主成分变换(PCA)，是一种基于图像统计特性的变换，它的协方差矩阵除对角线以外的元素都是零(所以大家也叫它最佳变换)，消除了数据之间的相关性，从而在信息压缩方面起着重要作用。

在模式识别和图像处理中一个主要的问题就是降维，在实际的模式识别问题中，我们选择的特征经常彼此相关，在识别这些特征时，数量很多，大部分都是无用的。如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。
如何寻找一种合理的综合性方法，使得：

1.减少特征量的个数。

2.尽量不损失或者稍损失原特征中所包含的信息。

3.使得原本相关的特征转化为彼此不相关（用相关系数阵衡量）。

K-L变换即主成分分析就可以简化大维数的数据集合。它还可以用于许多图像的处理应用中，例如：压缩、分类、特征选择等。

2.K-L变换的原理

K-L变换的目的是寻找任意统计分布的数据集合主要分量的子集。基向量满足相互正交性。使得原始数据集合变换到主分量空间，使单一数据样本的互相关性(cross-correlation)降低到最低点。

例：
对某n个波段的多光谱图像（这不就是多维信息嘛）实行一个线性变换，即对该多光谱图像组成的光谱空间X乘以一个线性变换矩阵A，产生一个新的光谱空间Y，即产生一幅新的n个波段的多光谱图像。其表达式为

                            Y = AX

式中：X为变换前多光谱空间的像元矢量；Y为变换后多光谱空间的像元矢量；A为一个n×n的线性变换矩阵。

对于K-L变换中的矩阵A，必须满足以下要求：

1. A为n×n正交矩阵，A=[φ1,φ2,φ3,…,φn]

2. 对正交矩阵A来说，取φi为X的协方差矩阵∑x的特征向量，协方差矩阵除对角线以外的元素都是零

变换Y=A’X与反变换X=AY即为K-L变换的变换公式。



因此当n=3时：



从上式可以看出，A的作用实际上对各分量加一个权重系数，实现线性变换。Y的各分量的信息的线性组合，它综合了原有各分量的信息而不是简单的取舍，这使得新的n维随机向量Y能够较好的反映事物的本质特征。

变换后的矢量Y的协方差矩阵 ∑y是对角矩阵，且作为Y的各分量  yi    的方差的对角元素就是  ∑x的特征值，即



这里λ按由小到大的顺序排列。K-L变换后新的坐标轴  的 y1,y2,y3…yn为个特征矢量的方向，由上式表明这实际上是选择分布的主要分量作为新的坐标轴，对角化表明了新的分量彼此之间是互不相关的，即变换后的图像Ｙ的各分量之间的信息是相互独立的。

3.一维K-L变换

一种可以去掉随机向量中各元素间相关性的线性变换

变换的方法如下：
1.定义协方差矩阵



2.求协方差矩阵的特征值和特征向量



3.定义变换核矩阵和K-L变换

4.二维K-L变换及应用于人脸识别

1.脸的检测



2.特征脸



3.分类
将待识别人脸投影到新的M维人脸空间，即用一系列特征脸的线性加权和表示。此时待识别人脸问题转换为投影系数向量，识别问题转换为分类问题。最简单的分类是最小距离分类等。


  

5.总结

5.1 K-L变换的优点

k-l变换的优点主要集中在三个方面：
1.可以完全去除原始信号中的相关性
2.在进行数据压缩时，将y截短所得的均方误差最小，该最小均方误差等于所有舍去的特征值之和
3.K-L变换最大程度上保留了原始信号的能量
也正是基于此，大家才把K-L变换称为最佳变换

5.2 K-L变换的缺点

可惜的是，K-L变换还没有快速算法，这是因为变换后的基向量是依赖协方差矩阵得到的，而协方差矩阵又是利用输入信号得到的。
换句话来说，K-L变换的基向量依赖输入信号！而傅里叶变换的基向量不必依赖输入信号，这也就能解释为什么K-L变换没有快速算法。
也正因为这个原因，后面才发展出了近似的最优算法——余弦变换、正弦变换等图像压缩/数据压缩算法