MIT18.06线性代数课程笔记10：column space、row space、null space、left null space

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

此部分讨论了矩阵四个基本子空间的定义、性质以及求解方法。

1. 定义

关于column space和null space的定义请参考 MIT18.06线性代数课程笔记6：vector space，subspace，column space，null space，简单的说column space是矩阵A所有列向量的线性组合，即span；而null space是所有满足Ax=0的x的集合。

由此推出row space和null space的定义也十分简单：row space就是C(AT)，而left null space则为N(AT)。row space的实际意义即为所有行向量的线性组合；而left null space则为所有满足xTA=0T的x的集合。

2. 性质

首先四个子空间都是大空间的subspace，第一个性质就是讨论各自所在的大空间，完全由集合内部元素的维度限制。设A是n×m的矩阵，则有C(A)∈Rn,N(A)∈Rm,C(AT)∈Rm,N(AT)∈Rn。可以发现column space 和left null space位于同一大空间内，而row space和null space 位于同一大空间内。通常对矩阵A的四大子空间作图时采用如下形式：



然后讨论四个空间的维度，由之前的内容可知Dim(C(A))=r(A), Dim(N(A))=m−r(A)。对于row space，结论是类似的Dim(R(A))=Dim(C(AT))=r(AT)=r(A), Dim(N(AT))=n−r(A)。容易发现，row space和null space（同在Rm的两个子空间）的维度加和为m；相似的，column space和left null space（同在Rn的两个子空间）的维度加和为n。

笔者注：笔者不记得Strang给出过Dim(C(A))=r(A)的严格证明，这里尝试说明一下。实际上仍然使用的是行变换矩阵E和P的可逆性，设对A做消元回代得到EA=R，其中E是多个行变换矩阵的乘积，仍然是方阵且可逆。那么在R为free column的rf，容易发现可以表示为所有的pivot column[rp1,rp2,⋯,rpi]的线性组合，即∃c,[rp1,rp2,⋯,rpi]c=rf。因为Eai=ri，所以有∃c,E[ap1,ap2,⋯,api]c=Eaf，因为E可逆，所以∃c,[ap1,ap2,⋯,api]c=af。即free column可以表示所有pivot column的线性组合在A中仍然成立。至于Dim(N(A))=m−r(A)，则是受限于free column的数量，若另外存在某个向量x∉N(A),Ax=0，这里的N(A)是所有m−r(A)个xp的span，(而xp的计算请参考 MIT18.06线性代数课程笔记7：使用消元法求解Null space)。若x∉N(A)，则有{x}∪N(A)的span包含有所有free column对应位置设为0，某个pivot column仍然不设为0的向量，从而推出pivot column之间线性相关。而A中的pivot column线性相关可以推出R中对应的pivot column线性相关，但是通过主元pivot的定义可知R中的pivot column线性无关。从而Dim(N(A))=m−r(A)。

3. 计算四个子空间的基向量

如上所述，C(A)的基向量即为A的所有pivot column，证明很简单，因为所有free column可以表示为pivot column的线性组合。而N(A)的基向量为所有的xp。

至于row space和left null space，一个直观的想法是同样求解AT，但这样就需要做两次消元。Strang给出了只做一次消元的方法，主要基于消元矩阵的性质。

首先回顾消元法，使得notation更加明确，即对A做行变换等价于左乘一个可逆的方阵E，最终得到矩阵R=EA具有性质∃Pc,RPc=[I,F0]，其中Pc是置换列向量位置的矩阵（类似于permutation matrix的转置，详情参看 MIT18.06线性代数课程笔记4b：打乱矩阵集合及相关性质 ），并不增减或者修改元素，I是单位阵，F是free column的表示，0表示全零的方阵。

那么第一个结论就是R的前r个行向量即为row space的基向量。证明非常简单，只需要证明这r个向量的span是row space即可。而我们已知E−1R=A，即AT=RT(ET)−1，进而∀x,ATx=RT((ET)−1x)，即C(AT)=C(RT)。从证明过程中，我们也发现对矩阵做行变换，并没有改变矩阵的row space；对比column space，则相反（随机生成一个矩阵，然后比较C(A)和C(R)即可，应该绝大多数都不相等）。这个结论做个转置可以得到对矩阵做列变换不改变column space，但是改变row space。至于线性无关性可以从数量r或者存在单位阵I中容易看出。

对于left null space的基向量，需要一些小trick。首先观察left null space中包含哪些向量，xTA=0T，即对A的行向量做行变换得到零向量的系数向量。观察消元结果EA=[R′0]，有E的后n−r(A)个行向量均位于left null space中。至于线性无关性，则是基于E为可逆方阵得出。