压缩感知(III) A Compressed Sense of Compressive Sensing (III)

在本文第一篇的时候我们介绍了 RIP 以及相关的概念，并给出了投影矩阵  满足一定的
RIP 条件的时候通过 -norm 最小化可以求得 CS 问题的最优解，该问题是通过凸优化来进行求解。这里我们介绍另一类主要算法（Pursuit 类）的一个典型，叫做 Orthogonal Matching Pursuit (OMP)。

介绍算法之前先引入一个叫做 Coherence 的概念，对于一个矩阵 ，其 coherence 定义为

其中  表示矩阵的第  列。一个特殊情况是  的列全部正交，此时 coherence 为零，当然当 overcomplete (n > m) 时这是不可能做到的，但是如果  很小的话，我们可以得到一些“近似正交”的结论。第一个有用的地方在于
Coherence 可以用于给出 spark 的一个下界。

我们在上次定义过，一个矩阵的 spark 是最小的数  使得该矩阵存在  列是线性相关的。我们上次介绍过，当矩阵  的 spark 足够大的时候，能够保证解的唯一性。但是 general 情况下计算一个矩阵的 spark 是 NP 难的，所以 Coherence
能给出一个下界就非常有用了。

因为对  的列进行缩放并不影响  的 Coherence 或者 spark，不失一般性，我们考虑  的列全部为 unit-norm 的情况。注意  的任意  列  是线性无关的，等价于矩阵  的任意  的子矩阵其行列式都是
full-rank 的。另一方面，注意到  的对角线元素都是 ，而非对角元  都可以由  来 bound 住，由 Gershgorin
Circle Theorem 知道，当  的时候，矩阵  的任意  子矩阵的特征值全都大于零，此时可以保证是 full-rank，亦即 spark 。由此可得下界：spark 。类似的方法还可以将
Coherence 和 RIP 联系起来。

如果 sparsity ，此时我们有 ，上次我们已经证明这种情况下 -稀疏解是唯一确定的。这里我们给出具体的 OMP 算法来将该解求出来。给出算法之前，我们再重复一下问题：已知  和 ，求

并已知 。OMP 算法的步骤如下：
初始化：
For 
令  为 

，其中 
如果  则退出循环

求解  得出  的非零系数。

首先注意到每一次迭代都会有一个新的下标  进入集合 ，因为如果  在之前的某一步中被加入到  中了的话，那么 residual  和  的内积会保持为零，所以不会选到该下标，亦即  不会进入集合两次。所以经过  次迭代之后将会得到  个下标。接下来我们要说明这  个下标刚好对应了  的  个非零下标。令 ，则我们要证明的是 。

首先我们证明第一步选中的  是属于  的。令  是  的绝对值最大的元素下标，则

另一方面，对任意的 ，我们有

当  时，显然前者大于后者。因此  时一定不会选到  以外的下标（虽然并不一定就是选中绝对值最大的那个 ）。也就是说，选中的下标会是  中的一员。

注意到第一步之后更新 residual 之后满足 ，其中 ，也就是除去了第一步所得到的下标。实际上我们可以看成是重新开始一个新的问题，其中  是把  的第一步选出来的下标置零，而  则为
residual 。这样我们可以重复刚才的证明，得到这一步选出来的下标还是属于 。以此类推。

最后，由于我们一开始证明的 Coherence 作为 spark 下界的结果，很容易知道  的列是线性无关的，因此 OMP 最后一步的线性方程组求解也能得到 justify 了。

最后，OMP 算法虽然只需要进行  次迭代即可求解，但是每次迭代需要重新计算投影（第 2.3 步），普通的 Matching Puisuit (MP) 并不需要在每次选取新的下标之后对所有已有的下标重新做一次正交投影，所以计算量小了很多，但是由于在这里没有了正交性，对算法的正确性等分析也相对变得更复杂了。此外，需要注意的是，这里只讨论了最简单的没有 noise、严格 -sparse
的情况。

from: http://freemind.pluskid.org/machine-learning/a-compressed-sense-of-compressive-sensing-iii/