线性代数学习笔记（四）

四个子空间的正交性

矩阵A的四个子空间是：row space, column space, nullspace and left nullspace，其中：
row space and nullspace are orthogonal complements
column space and left nullspace are also orthogonal complements

orthogonal complements 的概念

SPACEA 和 SPACEB 是orthogonal complements的意思是：SPACEA中的任意向量 都和 SPACEB中的任意向量垂直（orthogonal），且dim(SPACEA) + dim(SPACEB) = n，所有与SPACEB垂直的向量都在SPACEA中（complement）

三维空间中，只有：①点 和 整个三维空间；②线 和 垂直于线的平面  才能是orthogonal complements，线和线即使垂直也不是，因为不满足complement这个条件！面和面更不行，orthogonal和complement都不满足！

orthogonal complements 的意义

complement的意义是：任意一个x都能唯一地分为一个row space component xr 和一个nullspace component xn，Ax = Axr+Axn，如图所示：
可划分：row space的basis与nullspace的basis构成了n个独立的basis，所以可以表达任意的x
唯一性：每个b都只有一个xr与之对应，如果有两个的话，Axr1-Axr2=0，xr1-xr2即属于row space又属于nullspace，决定了xr1=xr2，xn随之唯一。

（并不是所有的b都在column space中，假如Ax=b无解时，b就不是A的column的线性组合，b也就不再A的column space中了。）

Projection matrix

几个性质

因为任何投影向量p（=Pb）都在P的column space中，所以rank(P)与投影到的子空间维数有关：投影到一条线时，rank(P)=1;一个面时，rank(P)=2；以此类推。
联系几何意义，PP=P（也可以从P的公式出发证明）
I-P 也是投影矩阵，其空间与P的子空间互为orthogonal：(I-P)b=b-Pb=b-p=e
PT=P：从P的公式推导即可
分解后p在A的column space中（p=Ax），e在AT的nullspace中（ATe=0）。

寻找投影矩阵P的步骤

寻找向量b在矩阵A构成的column space的投影p=Ax^p=Ax^的步骤：
通过error vector e=b-p与column space垂直，找出向量 x^x^ ;
find the projection p=Ax^p=Ax^;
find the matrix PP. 

第一步：找出向量x^x^ 

A的列向量是所代表的子空间的基，所以向量x^x^ 的意义是找到这组基的一个线性组合，来代表投影向量p=Ax^p=Ax^ 。



写成：AT(b−Ax^)=0AT(b−Ax^)=0

得到：x^=(ATA)−1ATbx^=(ATA)−1ATb

括号不能去除，因为单独的一个A可能不可逆（但是ATA可逆，因为ATA的秩和A的秩相同，而A的秩等于A的列向量数目）！

第二步与第三步

p=Ax^=A(ATA)−1ATbp=Ax^=A(ATA)−1ATb

P=A(ATA)−1ATP=A(ATA)−1AT

ATA的性质

对任何A，都有rank(ATA)=rank(A)=rank(AT)

解法是证明二者具有一模一样的nullspace，因此二者rowspace的dimension相同（参见图“四个子空间”）：ATAx=0 <=> Ax=0
向左：容易
向右：（左）xTATAX=(Ax)TAx=||Ax||2=（右）xT0=0，故Ax=0

当A的列向量都独立时，也就是rank(A)=n时，ATA可逆

比较简单，列向量都独立，则必有m>=n，故ATA是一个n*n的矩阵且满秩。

当A的行向量都独立时，ATA不一定可逆：只有当m=n时才可逆；否则有m<n，这样ATA是一个n*n的矩阵，秩为m<n，因此不可逆。

ATA对称

由公式证明：(ATA)T=ATATT=ATA

直观上理解：ATA的第(ｉ，ｊ)个entry是 AT的第ｉ行（也就是A的第ｉ列的转置） 与 A的第ｊ列 的点乘，第(ｊ，ｉ)个entry是 AT的第ｊ行（也就是A的第ｊ列的转置） 与 A的第ｉ列 的点乘。

当A的列向量都互相垂直时，ATA是对角线矩阵；当列向量长度都为1时，ATA=I

证明比较简单。

详见orthogonal bases and Gram-Schmidt