LinearAlgebra_4

投影矩阵和最小二乘
二维空间

多维空间

正交矩阵和Gram-Schmidt正交化
回顾

正交基

正交矩阵

如何变成正交矩阵

行列式与其性质

行列式公式和代数余子式

克拉默法则逆矩阵体积
逆矩阵

克拉默法则

box体积

投影矩阵和最小二乘

二维空间

假设二维空间Ax=b，拟合的直线是b=C+Dt。投影矩阵为P$，那么有：

P=A(ATA)−1AT

Pb=0（如果向量b和矩阵A的列空间垂直的话，ATb=0）

Pb=b（如果向量b在矩阵A的列空间内部的话，b=Ax）

多维空间

思考最优直线或者最佳投影可以从两种方式思考

一。矩阵空间

矩阵空间，即找到最优的b^，也就是找到b在A的列空间的投影。

ATAx=ATb





如果A的列满秩的话，那么ATA可逆，所以有：

x=(ATA)−1ATb

P=A(ATA)−1AT

需要注意的是，ATA可逆有两种情况：

ATAx=0的零空间只有0，左右都乘XT即可。

A的列线性无关，相互垂直的单位向量，

orthonomal vectors

。





二。原来的空间

此外，还可以用最小二乘法做，使用微分求解也能得到同样的结果。

正交矩阵和Gram-Schmidt正交化

回顾

正交向量：两个向量点积为0。

正交空间：行空间与零空间。

正交基

正交矩阵

orthogonal

orthonormal

正交矩阵Q的特性如下：

QTQ=I

Q−1=QT（如果Q是方阵的话）

正交矩阵好处很大。

P=Q(QTQ)−1QT=QQT

上式在Q为方阵的情况下成立。

如何变成正交矩阵

总体思路就是先求出正交的向量，然后根据向量的长度变成正交矩阵。

求正交的向量，可以用

b=b−p=b−Ax=b−AATbATA

行列式与其性质

行列式，是最能够代表矩阵性质的一个数，根据它可以判断矩阵是不是奇异矩阵等。

行列式，是为了求出特征值，它的对象是每个方阵。

共有10条性质，1——3是基础，4——10是推倒。

1。detI=1

2。每交换一次行，矩阵的行列式乘以−1

3a。[tactbd]=t∗[acbd]

3b。[a+a′cb+b′d]=[acbd]+[a′cb′d]

4。如果两行相等，行列式为0

5。Substract l*rowI for rowK，行列式不变，所以可以随便消元，不影响行列式

6。有零行存在，行列式是0

7。上三角矩阵的行列式是角上元素的乘积

8。行列式为0是矩阵奇异的充要条件

9。detAB=detA∗detB, det2A=2mdetA

10。detAT=detA,将行列联系在了一起

此外，有一个问题：7次和10次行交换会得到同样的矩阵么。

A: 置换分为odd和even的。

行列式公式和代数余子式

行列式，是线代里面很小的但是很完整的一部分，之前很重要，现在并不是很重要。它的主要目的是和特征值结合。

代数余子式的意义是可以将大的矩阵的特征值分解成小的矩阵的特征值。

矩阵An∗n分解后共有nn情况，其中不为0的情况共有n!种。



代数余子式（cofactor）值得是aij去除第i行和第j列剩下部分的行列式，并且考虑到符号问题。

克拉默法则逆矩阵体积

逆矩阵

A−1=1detACT

其中，C代表包含符号的代数余子式，CT代表伴随矩阵。

克拉默法则

A−1只用上面的式子是不够的，克拉默法则提供了求逆的代数表达形式，但是一般不用因为太过繁琐，典型的中看不中用，一般使用消元法。

box体积

行列式代表

volumn of box

。

正负号的意义是左手坐标系还是右手坐标系。

detQ=1

QQT=I