Linear Algebra - Lesson 17. 正交矩阵和Gram-Schmidt正交化

Schedule

Orthogonal basis q1,q2,...qn

Orthogonal matrix Q

Gram-Schmidt A→Q

Orthogonal vectors - 正交向量

qTiqj={01if i≠jif i=j

假设Q为标准正交向量组成的矩阵,则QTQ=I(orthogonal matrix when it is square)

只有当是方阵的时候,才叫做正交矩阵(流传下来的说法)

当是矩阵的时候,QT=Q−1

If Q is square then QTQ=I
1ddc3
tell us QT=Q−1

Example

perm Q=⎡⎣⎢010001100⎤⎦⎥

则QT=⎡⎣⎢001100010⎤⎦⎥也是一个正交矩阵.

QTQ=I

Q=[111−1]并不是一个正交矩阵,虽然列相互正交,但是长度并非是单位长度,所以需要同除以2√,得到12√[111−1]

假设Q=[Q1Q3Q2Q4]=⎡⎣⎢⎢⎢11111−11−111−1−11−1−11⎤⎦⎥⎥⎥

则将Q中向量除以2(向量长度),从而得到单位向量, 将Q转换为正交矩阵,从而得到阿德玛矩阵(Adhemar Matrix)

阿德玛矩阵是一种只有1和-1的正交矩阵,有些维度可以,有些维度则没有阿德玛矩阵.

上述例子均是方阵,现在举个长矩阵的例子.

Q=13⎡⎣⎢122−2−12⎤⎦⎥

这样就有二维空间的一组标准正交基.

这两个向量是标准正交的,它们是其所生成空间的标准正交基.

现在想求出第三个向量, 则可以写下一个线性无关的向量,并通过Gram-Schmidt方法进行格式化.

求得Q有什么好处?

Suppose Q has orthonormal columns,

Project onto Q′s column space.

What’s the Projection matrix P?

P=Q(QTQ)−1QT=QQT

假设矩阵是方阵并且列向量相互正交,则列空间就是整个空间.

则QQT=I if Q is square.

投影矩阵的两个性质:

对称矩阵;

投影二次,相当于投影一次.

原先的投影公式是ATAx^=ATb

现在A替换成Q, 则投影公式变为 QTQx^=x^=QTb→x^i=qTib

其含义是在第i个基方向上的投影就等于qTib

Gram-Schmidt - 格拉姆-施密特

线性无关的两个向量 a,b 想对其进行标准正交化,得到正交化后的向量组 A,B, 进而得到标准正交的向量组q1=A||A||,q2B||B||.

假设a为A,则b在A上的投影记作p,则b与A正交的分向量B=e=b−p

B=b−ATbATAA

如何验证B与A正交? ATB应该为零.

ATB=AT(b−ATbATAA)=0

假设现在存在线性无关的三个向量a,b,c, 该如何求解?

一样的方法,先假设a=A,然后求B,最后求C.

C应该是c减去投影在A和B上的分量.

C=c−ATcATAA−BTcBTBB

举个实际的例子.

a=⎡⎣⎢111⎤⎦⎥,b=⎡⎣⎢102⎤⎦⎥

按照上述解法,A=a,则B=⎡⎣⎢102⎤⎦⎥−33⎡⎣⎢111⎤⎦⎥=⎡⎣⎢0−11⎤⎦⎥

Q=[q1q2]=⎡⎣⎢⎢⎢⎢13√13√13√0−12√12√⎤⎦⎥⎥⎥⎥

则列空间没有发生变化.

消元法可以用A=LU表示.

Gram-Schmidt可以用A=QR1R is upper triangular