Linear Algebra - Lesson 16. 投影矩阵和最小二乘

Schedule

Projections

Least square and best straight line

Projection matrix

P=A(ATA)−1AT

If b in column space, Pb=b

If b ⊥ column space, Pb=0

如果b垂直于A的列空间,则b存在于A的左零空间中,同时Pb=0;

如果b在A的列空间中,则b可以表示为Ax的形式,则Pb=A(ATA)−1ATAx=Ax=b.

假设b投影在column space中的向量为p,投影在零空间中的向量为e,则p+e=b.

由之前的知识得知,p=Pb,那么什么投影矩阵可以将b投影为零空间中的e? (I−P)

延续上节课中我们提到的二维空间中的三个不共线的点.

C+D=1C+2D=2C+3D=2

Ax=b→⎡⎣⎢111123⎤⎦⎥[CD]=⎡⎣⎢123⎤⎦⎥

minimize||Ax−b||2=||e||2=e21+e22+e23

离群点也称作 Outlier, 最小二乘法受离群值的影响很大.

假设三个点投影在最优直线上的点分别为p1,p2,p3,则对应的e1=p1−b1,以此类推.

Find x^=[CD], P→ATAx^=ATb

将之前的矩阵A带入,得出ATA=[36614]ATb=[511]

3C+6D=56C+14D=11

从而得出最小误差的方程式

(C+D−1)2+(C+2D−2)2+(C+3D−2)2

可以从微积分的角度对最小误差的方程式进行求导,也可以进行回代.

通过回代得出C=23D=12, 最优直线为2/3+1/2t

而且也可以证得

b=p+e→⎡⎣⎢122⎤⎦⎥=⎡⎣⎢⎢⎢⎢⎢⎢⎢7653136⎤⎦⎥⎥⎥⎥⎥⎥⎥+⎡⎣⎢⎢⎢⎢⎢⎢⎢−1626−16⎤⎦⎥⎥⎥⎥⎥⎥⎥

If A has indepedent columns, then ATA is invertible. (Need to be prove)

可以通过求解ATAx=0仅有零解证得.

两边都点乘x的转置,则得到xTATAx=(Ax)TAx=0,因为yTy表示的是y长度的平方,则Ax=0,又因为A中列向量线性无关,则x=0.

Columns are definitely independent if they are perpendicular unit vectors(orthonormal vectors) 标准正交 .

例如⎡⎣⎢100⎤⎦⎥,⎡⎣⎢010⎤⎦⎥,⎡⎣⎢001⎤⎦⎥