矩阵填充的SVT算法

本文是对SVT的一篇文章的理解，即奇异值阈值算法的理解。

1:算法解决的问题如下：



其中最小化的是核范数（表示矩阵奇异值之和），是rank(X)的最优凸近似。

具体研究解决的是矩阵填充问题，如何在不完备的数据下把缺少的数据给补充完整。前提是填充的矩阵是要求低秩的。



首先给出软阈值算子：如果


那么在软阈值算子下有：



其中t+=max(0,t)t_+=max(0,t) ,那么我们能发现，当D作用于奇异值上时，一部分小于T的奇异值变为0，而大于T的奇异值减去T。如果迭代多次进行下去就会发现，奇异值会逐渐减少并且减小。这也是以后我们会将这个叫做奇异值收缩算子的原因。

下面定理说明了奇异值收缩算子是核范数的近似算子。



具体证明可以参考下面的文献。

因此我们有解矩阵填充问题的算法如下：



很显然当T，充分大的时候(1.6)问题的解近似原问题的解。

同样的(1.6)的解也是如下问题的近似解。





A singular value thresholding algorithm for matrix completion