线性代数导论17——正交矩阵和Gram-Schmidt正交化

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html
第十七课时：正交矩阵和Gram-Schmidt正交化

这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵

一组基里的向量，任意q都和其他q正交，两两垂直，内积为零，且qi不和自己正交，qi的长度为1，这样的向量组叫标准正交基



把如上的这些标准正交的向量作为矩阵Q的列，那么QTQ=I为单位矩阵。



只有当Q是一个方阵时，Q各列向量相互垂直且长度为1，Q叫正交矩阵。
如果Q是方阵，然后QTQ=I，那么QT=Q-1，正交矩阵很容易得到，比如单位阵，或交换单位阵的列向量的位置也可。



举几个正交矩阵的例子：



如上图，那样构造的正交矩阵（阿德玛矩阵：是一种只有1和-1的正交矩阵）可以是2维，4维，16维，64维，究竟哪些维数的正交阵可以由1和-1们构成？

设Q是标准正交列向量的矩阵。现在要投影到列空间，那么投影到列空间的投影矩阵是什么？投影矩阵P=Q(QTQ)-1QT，因为空间Q有标准正交基，那投影到列空间时，有P=QQT，即：
P=Q(QTQ)-1QT=Q(I)-1QT=QQT，
P是对称的，而且（QQT）（QQT）=QQT
且当Q是方阵时，P=QQT=I，因为Q是方阵，且各列线性无关，那么Q的列空间就是整个空间，投影到整个空间里的投影矩阵就是I。
对于投影方程：ATAx’=ATb，如果A是标准正交基Q，那么可得到：x’=QTb。那么x'的分向量：xi'=qiTb，即第i个基方向上的投影就等于qiTb。



格拉姆-施密特正交化
格拉姆-施密特正交化的目标是让列向量线性无关的矩阵正交化（向量垂直且长度为1）。（就像消元法的目标是将矩阵变成三角矩阵）
已知相互无关的向量a,b，目标要将a,b变成相互正交且长度为1的q1,q2，可将向量a固定，然后b投影到a上，误差e=B，那么基本步骤如下：可验证ATB=0



可得到格拉姆-施密特公式：



假设有三个向量呢，a,b,c，正交化得到A,B,C。可由上已知了A和B，求得C：



一个例子，已知两个向量a,b，求格拉姆-施密特标准正交基Q，Q的列空间和原来的矩阵列空间是一样的。



假设原来的矩阵A（a1,a2），向量a1,a2线性无关，通过格拉姆-施密特标准正交化得到Q（q1,q2），A与Q的列空间相同，就像消元法A=LU一样，存在一个矩阵R，满足公式如下： 这就是格拉姆-施密特表达式。
A=QR ，R是一个上三角矩阵。
也就是说一个由线性无关的向量组成的矩阵A，与格拉姆-施密特标准正交化矩阵Q的关系是一个上三角矩阵R。
由A和Q得到R很方便（也可参照文章上面有句话：对于投影方程：ATAx’=ATb，如果A是标准正交基Q，那么可得到：x’= QTb。那么x'的分向量：xi'=qiTb，即第i个基方向上的投影就等于qiTb），A=QR，QTA=R。由于左下角元素q2Ta1相互垂直，所以相乘为0，R是一个上三角矩阵。