线性代数笔记3：向量投影

向量投影是线性代数中很重要的应用，用于找到向量到目标投影空间的投影向量。这是下一节线性回归的基础。

Ax=bAx=b有解时

当计算线性方程组Ax=bAx=b 有解时， bb就在C(A)C(A)的子空间中，则Ax=bAx=b在C(AT)C(AT)中有唯一解。我们考虑xx的投影。

设α∈Rnα∈Rn是Ax=bAx=b的解，则α=αr+αn，αr∈C(AT)，αn∈N(A)α=αr+αn，αr∈C(AT)，αn∈N(A)。则：

αr是α在C(AT)的投影。αr是α在C(AT)的投影。

αn是α在N(A)的投影。αn是α在N(A)的投影。

Ax=bAx=b无解时

当计算线性方程组 Ax=bAx=b 时， 它可能是无解的，此时我们可以考虑求 x^∈Rnx^∈Rn，使得|| Ax^−bAx^−b || 最小或极小？这就意味着当 b∉C(A)b∉C(A) 时，我们需要求解 C(A)C(A) 上距离 bb 最近的点 Ax^Ax^ ， 它就是bb 在 C(A)C(A) 上的投影点。这对于我们理解最小二乘法很有帮助，具体请参考下一章。

以三维空间为例，目标投影空间可能是线，也可能是面。投影的实质就是找一个函数，从而使得 P(B)=bP(B)=b ，也就找到了 BB 在某一维度的映射。类似的，在线性代数中，我们需要找到投影矩阵 PP ，使得 Pb∈C(A)Pb∈C(A) 。

投影矩阵 PP

投影矩阵 PP ，顾名思义，就是利用矩阵 PP ，将向量 bb 投影到所需的”空间“中，设投影点为 pp，则误差向量 e=b−pe=b−p。

在直线上的投影

求 bb 在直线 aa 上的投影向量 pp.

已知 p+e=b,e⊥a,p=ta(t∈R)p+e=b,e⊥a,p=ta(t∈R)

∴e⊥a→aT(b−ta)=0→t=aTbata(a≠0)∴e⊥a→aT(b−ta)=0→t=aTbata(a≠0)

即 bb 在直线 aa 上的投影向量为 (aTbata)a=p(aTbata)a=p. (a，b表示相应列向量)

投影向量p=(aTbata)a=aTaata)bp=(aTbata)a=aTaata)b

我们称 aTaataaTaata为投影矩阵 PP.

在平面上的投影

给定 v∈R3v∈R3 ，求 vv 在平面 π=C(A)π=C(A) 上的投影 pp .

令 α1,α2α1,α2 是平面 ππ 上两无关向量，即 π=C(A)π=C(A) 的一组基。

令p=Ax^p=Ax^，则 e=v−Ax^e=v−Ax^ 垂直于平面 ππ ，即其属于AA 的左零空间。

∴AT(AX^−v)=0∴AT(AX^−v)=0， 即 x^x^ 是 ATAx=ATvATAx=ATv 的解。

∵A∵A 的列向量线性无关，即 ATAATA 是可逆矩阵

∴x^=(ATA)−1ATv→p=A(ATA)−1ATv∴x^=(ATA)−1ATv→p=A(ATA)−1ATv.

我们称 A(ATA)−1ATA(ATA)−1AT 为投影矩阵 PP.

一般情形

AA 为 m×nm×n 矩阵，设 b∈Rmb∈Rm，求 bb 在 C(A)C(A) 上的投影 pp ?

p∈C(A)⟺∃x^∈Rn,Ax^=pp∈C(A)⟺∃x^∈Rn,Ax^=p。

∵e=b−p⊥C(A)↔e∈N(AT)∵e=b−p⊥C(A)↔e∈N(AT)

∴ATe=⇒AT(b−Ax^)=0.⟹p=Ax^=A(ATA)−1ATb∴ATe=⇒AT(b−Ax^)=0.⟹p=Ax^=A(ATA)−1ATb

这里需要注意一点：ATAx=ATbATAx=ATb 总有解（无论 AA 是否列满秩）

这是因为C(AT)=C(ATA),ATb∈C(AT)=C(ATA)C(AT)=C(ATA),ATb∈C(AT)=C(ATA)，所以总能找到这样的 x^x^ 使得 x^=A(ATA)−1ATx^=A(ATA)−1AT。

投影矩阵 PP的性质

若AA 的列向量线性无关（列满秩），则矩阵 ATAATA 可逆，投影矩阵 P=A(ATA)−1ATP=A(ATA)−1AT 满足

P2=P,PT=PP2=P,PT=P

从直观上，向量 bb 经过一次投影到平面AA 上后再经过相同的一次投影仍然在平面AA 上，因此投影矩阵 P2P2 和 PP 的效果是一样的，因此P2=PP2=P 。

数学推理：

P2=(A(ATA)−1AT)(A(ATA)−1AT))=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=PP2=(A(ATA)−1AT)(A(ATA)−1AT))=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=P

C(P)=N(I−P),N(P)=C(I−P)C(P)=N(I−P),N(P)=C(I−P)

∵P2=P∵P2=P

∴P(I−P)=0⟹C(I−P)⊂N(P)∴P(I−P)=0⟹C(I−P)⊂N(P)

设α∈N(P)，则Pα=0⟹α=(I−P)α设α∈N(P)，则Pα=0⟹α=(I−P)α

∴α∈C(I−P)⟹N(P)⊂C(I−P)∴α∈C(I−P)⟹N(P)⊂C(I−P)

综上：N(P)=C(I−P)N(P)=C(I−P)

同理C(P)=N(I−P)C(P)=N(I−P)

欢迎关注我的个人博客。