奇异值分解（SVD）的之低秩近似和特征降维

http://www.linuxidc.com/Linux/2014-06/103495.htm

我们在这一篇《模式识别、推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解 》中详细介绍了矩阵奇异值分解的数学证明，我们沿用这一篇的博文的符号，继续讨论这一章的内容。
矩阵的奇异值分解定理：
设矩阵

，秩为

，

，则该矩阵可以分解为：



也可以表示为：


。
其中：

为矩阵

（或者

）的非零向量,

为

的对应特征向量，

为

的对应特征向量，

。

SVD的第一个作用之低秩近似（Low Rank Approximation）：


，

，
即用矩阵

近似

。

SVD的第二个作用之特征降维（Dimensionality Reduction）：
假设特征是按列存储的，即：


，

其中

，

。

我们在低秩近似中已经用

近似表示

了。



则根据分块矩阵的乘法，我们很容易得到：


，

。
令：


。
因为

，是相互正交的，所以根据


，
显然可以得出

，可以近似由

，张成，所以我们得出结论：
m维的

，可以降到

维的

，

。