MIT18.06线性代数课程笔记14：正交子空间、A^TA的Null Space

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

这节课介绍了围绕正交的多个概念，包括向量正交、空间正交以及正交补空间等。进而讨论了ATA的性质，为之后的课程做准备。

1. 正交相关的概念与定理

向量正交：内积为零。

证明：勾股定理。aTa+bTb=(a+b)T(a+b)⇔aTb=0

空间正交：两个空间内的任意向量相互正交。即∀v1∈S1,v2∈S2,vT1v2=0。

等价于两个空间的基向量两两正交

正交补空间：所有与指定空间正交的向量的集合为正交补空间。S⊆Rn,PV(S)={v:v∈Rn∧∀v2∈S,vTv2=0}

空间性质易证。

对于矩阵的四个子空间：row space, null space, column space, and left null space。

我们已知对于Am×n，R(A)∈Rn,Dim(R(A))=r(A)，且N(A)∈Rn,Dim(N(A))=n−r(A)。

Claim 1: R(A)与N(A)正交。

这个证明很简单，因为

∀v2∈N(A),Av2=0∧∀v1∈R(A) ∃x∈Rm vT1=xA⇒∀v1∈R(A),v2∈N(A),vT1v2=xAv2=0

也就是说矩阵的row space和null space正交，进而N(A)⋂R(A)={0⃗ }，因为只有零向量与自身正交。

Claim 2:N(A)是R(A)的正交补空间。

这个证明也是显然的，与R(A)正交的向量，必然和所有A的行向量正交，从而满足Ax=0，即位于N(A)中。

这个结论可以推导出正交补空间和指定空间维度的和为全空间维度。因为任意指定空间的基向量可以共同组成矩阵A，而其正交补空间即为N(A)，从而证明两个空间维度的和为n，即全空间维度。

2. ATA的一些性质

对称方阵：简单易证。

Claim: N(ATA)=N(A)

Strang还没来得及给出证明，其实通过反证法很容易证明。

if ∃x,Ax=b≠0∧ATAx=0⇒xTATAx=0⇔bTb=0∧b≠0

不存在非零向量长度为０，从而假设不成立。

一个推论为r(ATA)=r(A)。