MIT18.06线性代数课程笔记15：子空间投影矩阵

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

设空间S是位于Rn的子空间，维度为m。求Rn中的任意向量在子空间S中的投影p。

1. 子空间维度为１

对于m=1的情况，则有S={λa,∀λ}. 任意b∈Rn，其在与a方向相同的线上的投影p为p=aTb||a||∗a||a||=aaTbaTa。上诉方法是从内积的物理意义出发，为了拓展到高维子空间，我们仔细讨论各项的几何意义。

因为p∈S，所以∃λ,p=λa。同时p是b的投影，所以有b−p与a垂直。回忆垂直的性质，可以推出aT(p−b)=0。带入λ，得到λ=aTbaTa，从而p=λa=aλ=aaTaTab。注意b是原向量，p是投影向量，定义投影矩阵P为p=Pb，从而对于m=1的情况，P=aaTaTa。

2. 子空间维度大于１

向高维拓展，对于子空间S，我们有m个基向量a1,a2,⋯,am。定义A=[a1,a2,⋯,am]，从而S=C(A)，即子空间为基向量组成矩阵的column space。

重复上诉步骤，因为p∈S，所以∃x,Ax=p。然后因为p是b的投影，所以有b−p与a垂直。回忆垂直的性质，可以推出AT(p−b)=0。求解x可得x=(ATA)−1ATb。带入得p=A(ATA)−1ATb。即投影矩阵P=A(ATA)−1AT。

上诉步骤中，也可以发现p−b∈N(AT)，和p−b与S的垂直关系相呼应。

若A为可逆方阵，则有P=I，因为C(A)=Rn。

3. 投影矩阵的性质

对称性：易证

P2=P。这个也符合几何性质，即子空间内部的向量投影到子空间保持不变。