矩阵分析与应用（四）——逆矩阵、广义逆矩阵和Moore-Penrose逆矩阵

逆矩阵

  逆矩阵的定义：如果对于一个方阵A，存在一个方阵B，使得AB=BA=I，那么我们称B为A的逆矩阵，记做：A−1=B=1|A|A∗，这里A∗代表伴随矩阵。

  一个n∗n的方阵存在逆矩阵的充要条件等价于：

A为非奇异矩阵

rank(A)=n

A的行向量线性无关

A的列向量线性无关

det(A)≠0，即行列式不为0

Ax=0只有唯一平凡解x=0

Ax=b为一致方程，且有唯一解

A的零空间的维度为0

  如果对于方程Ax=b，当其中的某些线性约束成立的情况下，其他的线性约束不可能成立，则称该方程为非一致方程。

  矩阵的零空间是指线性方程组Ax=0的解向量张成的空间的。

  一些基本的性质这里不赘述，值得一提的是两个矩阵之和的求逆运算，它不同于转置等运算（(A+B)T=AT+BT）。

Sherman-Morrison公式：

(A+xyT)−1=A−1+A−1xyHA−11+yHA−1x  这个公式还有很多形式的变体。

分块矩阵的求逆公式：

当A可逆时，[AVUD]−1=[A−1+A−1U(D−VA−1U)−1VA−1)−(D−VA−1U)−1VA−1−A−1U(D−VA−1U)−1(D−VA−1U)−1]−1当A，D可逆时，[AVUD]−1化简为：[(A−UD−1V)−1−D−1V(A−UD−1V)−1−A−1U(D−VA−1U)−1(D−VA−1U)−1]−1

广义逆矩阵

  我们看到，逆矩阵的定义仅仅针对方阵而言，但是实际应用中，我们遇到的很多问题并不满足这个条件，将矩阵的逆的定义扩展到任意矩阵，得到我们的广义逆矩阵：

  如果一个矩阵L满足LA=I，A∈Rm∗n，则我们称L为A的广义逆矩阵，特别地，对于LA=I，我们称为左逆矩阵，只有当m≥n时，A才可能有左逆矩阵；对于AL=I，我们称为右逆矩阵，只有当m≤n时，A才可能有右逆矩阵。

  证明如下，考虑m≥n：

A=[BC]，其中B∈Rn∗n，令L=[X,Y]满足LA=I，我们有XB+YC=I，如B非奇异（这是可能的），只需要令X=B−1，Y=O即可

  一个矩阵的广义逆矩阵往往不是唯一的，特别地，有以下形式的广义逆矩阵：

左逆：L=(AHA)−1AH唯一，且称为左伪逆矩阵右逆：L=AH(AAH)−1唯一，且称为右伪逆矩阵

  是不是很眼熟？对了，这就是和最小二乘密切相关的两个广义逆矩阵！，左逆对应于超定问题（非一致方程）的最小二乘解，右逆对应于欠定问题（一致方程）的最小范数解。

  现在，我们将左逆和右逆统一起来，用线性方程组的解的形式来描述：

对于A∈Rm∗n，秩任意，则A的广义逆矩阵是一个n∗m矩阵G并使得当Ax=y(y≠0)为一致方程时，有解x=Gy，当且仅当G满足AGA=A

  最后一个等式也是广义逆的定义式：A−存在↔AA−A=A

  定理：

A−存在↔A−A和AA−皆为幂等矩阵，即(AA−)2=AA−,(A−A)2=A−A

A−存在↔rank(A)=rank(AA−)或rank(A)=rank(A−A)

广义逆矩阵的计算

  定理：对于任意的秩为r的矩阵A，都可以分解为：

A=Fm∗rGr∗n,F和G分别为列满秩和行满秩

  称为矩阵的满秩分解，求解步骤如下

将A通过行初等变换化为阶梯矩阵，得到A=[GO]

对单位矩阵执行上述变换的逆变换，得到I→P−1

A=FG，其中F为P−1前r列组成的子矩阵

  则A的广义逆矩阵可以用以下公式求解：

A−=GT(FTAGT)−1FT

  容易验证，它满足广义逆矩阵的定义式AA−A=A

  且F和G分别为列满秩和行满秩，所以(FTAGT)−1=(FTFGGT)−1=(FTF)−1(GGT)−1一定存在。

  回过头来，我们看看用广义逆矩阵来定义线性方程的解会有什么结论：

  定理1：齐次方程Ax=0的一个通解为x=(I−A−A)z，其中z为任意的n*1向量。

  定理2：非齐次方程Ax=y为一致方程的充要条件为：AA−y=y。

  定理3：非齐次方程Ax=y的一个通解为x=A−y+(I−A−A)z，其中z为任意的n*1向量。

  上述三个定理可以通过直接验证广义逆矩阵的定义式得证。

Moore-Penrose逆矩阵

  由前面定义的逆矩阵求解超定问题（非一致方程）的最小二乘解和欠定问题（一致方程）的最小范数解时，解是不唯一的。因此将广义逆矩阵做进一步的约束，便得到Moore-Penrose逆矩阵（平时说的伪逆就是它），它能保证解的唯一性。

  定义满足下列性质的矩阵G为矩阵A的Moore-Penrose逆矩阵，记做A+：

AGA=A

GAG=G

(AG)H=AG

(GA)H=GA

  Moore-Penrose逆矩阵是由Moore在1935年提出的，由于原始定义十分晦涩，于是Penrose于1955年提出了上述的四个条件，因此名为Moore-Penrose逆矩阵。

Moore-Penrose逆矩阵又根据满足上述条件的个数，分为以下几种：

①只满足条件1,2，称为自反广义逆矩阵

②只满足条件1,2,3，称为正则化广义逆矩阵

③只满足条件1,2,4，称为弱广义逆矩阵

注意，对于只满足某些条件的逆矩阵，它的秩总是大于等于原矩阵的秩。即：

rank(Ag)≥rank(A)=rank(AAg)=rank(AgA)，当Ag为自反逆矩阵时取等。

我们前面提到的左伪逆矩阵和右伪逆矩阵都是Moore-Penrose矩阵，满足四个条件。

Moore-Penrose逆矩阵的计算

1.方程求解法：



2.KL分解法：

  即通过矩阵的满秩分解求解，求解方式同上述的广义逆矩阵，只不过将转置运算换成共轭转置，容易验证，该法求解得到的结果满足上述四个条件。

PS:当使用Moore-Penrose逆矩阵求解超定问题（非一致方程）的最小二乘解时，不仅解唯一，且是最小二乘最小范数解