投影矩阵与最小二乘（三）

其实这篇文章作为投影矩阵与最小二乘的完结篇，已经不完全是投影矩阵与最小二乘的关系了，更多的是在投影矩阵的基础上发展出来的一些理论


先说一下标准正交矩阵的概念：
对于一个矩阵A，如果A的列向量是标准正交的，那么A'A = I（很容易证明）。
如果A的列向量既是标准正交的，又是一个方阵(A is a square orthonormal matrix)，那么A就称作正交矩阵。由之前A'A = I我们就得到了A' = A-1
如果矩阵Q的列向量是标准正交的，那么投影到矩阵Q的投影矩阵:
P = Q(Q'Q)-1Q'。
如果Q的列向量标准正交，那么有Q'Q = I, P = QQ'，如果Q又是个方阵，那么P = I。
这里我们要用到（二）的末尾我说的那句话来解释上面这些变形的直观的意义：
如果一个矩阵的列向量是标准正交向量组，那么A的列向量一定线性无关。

如果矩阵A是方阵，且列向量是标准正交的，那么A的列向量一定线性无关，那么列空间就是整个空间了。那么我如果把向量b投影到A的列空间里，由于b就在A的列空间里，那么投影还是b本身，根据b = Pb，所以投影矩阵P就是单位阵I了。
由标准正交的概念我们可以得到很多有用的东西，就拿我们的投影矩阵来说吧：
A'Ax = A'b，如果A的列向量是标准正交的，那么A'A = I => x = A'b。
既然标准正交有这么大的好处，所以我们的前辈们就不约而同地一起在标准正交上做文章。但是，并不是所有的矩阵都是标准正交的。咱们有句老话：牛不吃草不能强按头。但是，两位牛逼哄哄的人物--Gram和Schmidt，针对非标准正交的矩阵像治疗具有偏食挑食症的儿童一样，找到了解决的办法。过程描述如下：
给定两个独立的向量a,b，我们将其转换成两个正交的向量A, B，并且a和b生成的空间与A和B生成的空间是同一个空间，然后我们再把A和B单位化即可，也就是
给定独立向量组a, b => 正交向量A, B => 标准正交向量q1, a2。
step1: A = a；
step2: B = b - p = b - A'bA / (A'A)（这是很显然的，因为这里的B就相当于前两部分说的e，e是与a相交的）
step3: q1 = A / (|| A ||), q2 = B / (|| B ||)。
如果给定的不是两个独立的向量，而是三个或者更多呢，这里，仅以三个为例，更多的依此类推：
A和B的计算过程依然如上，C = c - A'c A/ (A'A) - B'cB / (B'B)。A与C，B与C真的正交了吗，YES! 不管是用公式计算，还是直观画图理解，都是可以证明的。
最后一个问题了：
QR分解，我们可以把A写成列向量的形式A = [a1 a2]。根据前面的Gram-Schmidt正交化，我们可以得到对应的Q = [q1 q2]，并且有q1'q1 = 1, q1'q2 = 0.所以我们可以把A写成如下的形式：



显然这是成立的，因为q1'q1 = 1，q1'q2 = 0， a1'q2 = 0，同时根据前三个关系式，我们也很容易得到R是一个上三角矩阵(upper triangular matrix)。
好了，就说这么多吧，欢迎批评指针，您的建议是我进步的阶梯


参考：http://blog.csdn.net/a130098300/article/details/7664575