矩阵中的一些基本概念

矩阵中的概念还是很多的，时间一长很容易忘记，这里做一个摘录，已备不时之需。

线性空间

1. 生成子空间

设x1,x2,⋯,xm是数域K上的线性空间V的一组向量，其所有可能的线性组合的集合V1=k1x1+⋯+kmxm,(ki∈K,i=1,2⋯,m)

容易验证V1是V的一个线性子空间，记为 L(x1,x2,⋯,xm)=k1x1+⋯+kmxm

2. 矩阵的值域

设A=(aij∈Rm×n),以ai(i=1,2,⋯,n)表示A的第i个列向量，称子空间L(a1,a2,⋯,an)为矩阵A的值域（列空间），记为R(A)=L(a1,a2,⋯,an)
显然有R(A)∈Rm,故rank(A)=dimR(A)，R(A)还可以这样生成：令x=(ξ1,ξ2,⋯,ξn)T∈Rn,则：
Ax=(a1,a2,⋯,an)(ξ1,ξ2,⋯,ξn)T
=ξ1x1+⋯+ξnxn

即Ax为A的列向量线性组合，所以有

R(A)={Ax|x∈Rn}

同理可定义AT的值域（行空间）

R(A)={ATx|x∈Rm}

3 核空间

设A=(aij)∈Rm×n,称集合{x|Ax=0}为A的核空间（零空间），记为N(A),即

N(A)={x|Ax=0}显然N(A)是齐次线性方程组Ax=0的解空间，A的核空间的维度称为A的零度，记为

n(A),即n(A)=dimN(A),则很容易有下列公式：

rankA+n(A)=n

n(A)−n(AT)=n−m

rankAT+N(AT)=m

4 正交

定理一：对于欧式空间Vn的任一基x1,x2,⋯,xn都可以找到一个标准正交基y1,y2,⋯,yn.换言之，任意非欧式空间都有正交基和标准正交基。

该定理可用Schmidt正交化方法构造性证明。

正交矩阵：实方阵Q满足QTQ=I,或QT=Q则称Q为正交矩阵

显然Q是正交矩阵的充要条件是，它的列向量是两两正交的单位向量，正交向量是非奇异的，从det(QTQ)=det(QT)×det(Q)=(det(Q))2=1得det(Q)=±1可知。自然正交矩阵的逆矩阵也是正交矩阵，两个正交矩阵的乘积仍是正交矩阵。

正交矩阵在标准正交基下的矩阵是正交矩阵，但是在别的基下的矩阵可能是正交矩阵，也可能不是

5对称性与对称矩阵

对称变换：设T是欧式空间V的一个线性变换，且对V中任意两个向量x,y都有(Tx,y)=(x,Ty)

成立，则T为V中的一个对称变换。

定理2：欧式空间的线性变换是实对称变换的充要条件是，它对于标准正交基矩阵是实对称矩阵。

定理3：实对称矩阵的特征值都是实数

下面给出简要证明：

设A是实对称矩阵，λ是它的特征值，x是对应的特征向量，则有：

Ax=λx

两边取共轭有

Ax¯¯¯¯¯=λx¯¯¯¯

由共轭复数的性质有：

A¯x¯=λ¯x¯

取转置，由A¯=A,AT=A,得

λ¯x¯T=x¯TA

等式两边右乘x得

λ¯x¯Tx=x¯TAx=λx¯Tx

(λ−λ¯)x¯Tx=0

而xTx≠0,故λ=λ¯,λ是实数。

定理4：实对称矩阵不同特征值所对应的特征向量是正交的

简要证明如下：

设λ1x1=Ax1,λ2x2=Ax2

由于λ1xT1=xT1A

故λ1xT1x2=xT1Ax2=λ2xT1x2

即(λ1−λ2)xT1x2=0

但是λ1≠λ2故(x1,x2)=0

6 酉空间

酉空间实际上是实数域R上线性空间的扩展，和欧式空间理论很相近，有一套平行的理论。

酉变换：酉空间V中的线性变换T,若满足

(x,x)=(Tx,Tx),x∈V

则称T为V的酉变换。

酉矩阵：酉变换在酉空间的标准正交基下的矩阵A是酉矩阵，即A满足：

AHA=AAH=I

Hermite变换：酉空间V中的线性变换T,若满足

(Tx,y)=(x,Ty),x,y∈V

则称T为V的Hermite变换。

Hermite矩阵： Hermite变换在酉空间的标准正交基下的矩阵A是Hermite矩阵，即满足

AH=A

酉矩阵对应于实数域空间中的正交矩阵，Hermite矩阵对应于实数域空间中的对称矩阵

定理5：

:设A∈Cn×n的特征值为λ1,λ2,⋯,λn,则存在酉矩阵P,使得

P−1AP=PHAP=⎡⎣⎢⎢⎢⎢⎢⎢λ1∗…λ2⋱⋱∗⋮∗λn⎤⎦⎥⎥⎥⎥⎥⎥

2 设A∈Rn×n的特征值为λ1,λ2,⋯,λn,且λi∈R(i=1,2,⋯,n)则存在正交矩阵Q,使得

Q−1AQ=QTAQ=⎡⎣⎢⎢⎢⎢⎢⎢λ1∗…λ2⋱⋱∗⋮∗λn⎤⎦⎥⎥⎥⎥⎥⎥

证明过程略微繁琐，这里就不给出了，一般用数学归纳法证明。

正规矩阵：设A∈Cn×n，且等式

AHA=AAH

成立，则称A为正规矩阵。那么上面的定理可以进一步的加强

定理6：

设A∈Cn×n，则A酉相似与对角矩阵的充要条件是A为正规矩阵；

设A∈Rn×n，且A的特征值都是实数，则A正交相似于对角矩阵的充要条件是A为正规矩阵

上面两条定理给出了一个矩阵可以转化为对角矩阵的充要条件

范数篇

向量范数

向量范数的等价性：设∥x∥α和∥x∥β为有限维线性空间V的任意两种向量范数，则存在两个与向量x无关的正常数c1和c2,使得不等式c1∥x∥β≤∥x∥α≤c2∥x∥,(∀x∈V)

证明略

特殊情况有∥x∥∞≤∥x∥1≤n∥x∥

∥x∥∞≤∥x∥2≤n√∥x∥∞

矩阵范数

定义：设A∈Cm×n,定义一个实值函数∥A∥，他满足以下三个条件：

1.非负性：当A≠O时，∥A∥>0;当A=O时，∥A∥=0

2.齐次性：∥αA∥=|α|∥A∥,(α∈C)

3.三角不等式：∥A+B∥≤∥A∥+∥B∥，（B∈C）

则称∥A∥为A的广义矩阵范数。

若对Cm×n,Cn×l,Cl×m上的同类广义矩阵，还应满足以下一个条件：

4.相容性： ∥AB∥≤∥A∥∥B∥

定理：已知Cm和Cn上的同类范数∥⋅∥,设A∈Cm×n,则函数

∥A∥=max∥x∥=1∥Ax∥是Cm×n上的矩阵范数，且与已知向量范数相容。

下面是三种常用的范数

设A=(aij)m×n∈Cm×n,x=(ξ1,ξ2,⋯,ξn)T∈Cn,则从属于向量x的三种范数∥x∥1,∥x∥2,∥x∥∞的矩阵范数依次是：

∥A∥1=maxj∑i=1m|aij|

∥A∥2=λ1−−√,λ1为AHA的最大特征值；

∥A∥∞=maxi∑j=1n|aij|

证明：

（1）设∥x∥=1,则

∥Ax∥=∑i=1m∣∣∣∣∑j=1naijξj∣∣∣∣≤∑i=1m∑j=1n|aij|ξj|=∑j=1n|ξj|(∑i=1m|aij|)

≤(maxj∑i=1m|aij|)∑j=1n|ξj|=maxj∑i=1m|aij|

因此有

∥A∥1=max∥x∥1=1∥Ax∥1≤maxj∑i=1m|aij|

选取k使得

∑i=1m|aik|=maxj∑i=1m|aij|

令x0为第k个单位坐标向量，则有

Ax0=(A1k,a2k,⋯,amk)T

∥A∥1=max∥x∥1=1∥Ax∥1≥∥Ax0∥=∑i=1m|aik|=maxj∑i=1m|aij|

得证

(2) 因为AHA是Hermite矩阵，且由

xH(AHA)x=(Ax)H(Ax)=∥Ax∥22≥0

因此AHA是半正定的，从而它的特征值为非负，设为

设λ为AHA的一个特征值，特征向量为x,且∥x∥2=1则

∥Ax∥22=(x,AHAx)=(x,λx)=λ∥x∥22≤λ1

所以有∥A∥2=max∥x∥2=1∥Ax∥2≤λ1−−√

显然当x为λ1的特征向量是取等号。

（3）证明类似于上面，过程略.

谱半径：设A∈Cn×n的特征值为λ1,λ2,⋯,λn,称

ρ(A)=maxi|λi|

定理：设A∈Cn×n,则对Cn×n上的任何一种矩阵范数∥⋅∥，都有

ρ(A)≤∥A∥

证明过程很简单，设Ax=\lambda xAx=λx,则|\lambda|\|x\|_v=\|\lambda x\|_v=\|Ax\|_v\le\|A\|\|x\|_v|λ|∥x∥v=∥λx∥v=∥Ax∥v≤∥A∥∥x∥v,因为x\neq 0x≠0，所以|\lambda|\le\|A\|.|λ|≤∥A∥.

当矩阵AA是Hermite矩阵时，\|A\|_2=\rho(A)∥A∥2=ρ(A)

因为:\|A\|_2=\sqrt{\max_i|\lambda_i(A^HA)|}=\sqrt{\rho(A^HA)}=\rho^\frac 1 2(A^HA)∥A∥2=maxi|λi(AHA)|−−−−−−−−−−−−√=ρ(AHA)−−−−−−−√=ρ12(AHA)

因为AH=A

∥A∥22=ρ(AHA)=ρ(A2)=ρ2(A)

固有∥A∥2=ρ(A)

定理：设A∈Cn×n,对于任意的正数δ,存在某种矩阵范数∥⋅∥M,使得

∥A∥M≤ρ(A)+δ

证明略。

矩阵的非奇异性条件

定理：设A∈Cn×n,且对Cn×n上的某种矩阵范数∥⋅∥,有∥A∥≤1,则矩阵I−A非奇异，且有∥(I−A)−1∥≤∥I∥1−∥A∥

证明：

若det(I−A)=0,则其次线性方程组(I−A)x=0有非零解x0,则有

(I−A)x0=0

则∥x0∥V=∥Ax0∥v≤∥A∥∥x0∥V<∥x0∥V

出现矛盾，故det(I−A)≠0，矩阵I−A非奇异.

再由(I−A)−1(I−A)=I，可得

(I−A)−1=I+A(I−A)−1

于是∥(I−A)−1∥≤∥I∥+∥A∥∥(I−A)−1∥

即∥(I−A)−1∥≤∥I∥1−∥A∥

当A很小时，(I−A)−1与单位矩阵的逼近成都由下面定理给出

定理：设A∈Cn×n,且对Cn×n上的某种矩阵范数∥⋅∥,有∥A∥≤1，则

∥I−(I−A)−1∥≤∥A∥1−∥A∥

证明：因为∥A∥≤1,s所以(I−A)−1存在，由

(I−A)−I=−A右乘(I−A)−1得

I−(I−A)−1=−A(I−A)−1

两边取范数有

∥I−(I−A)−1∥=∥−A(I−A)−1∥≤∥A∥1−∥A∥

推论：设A∈Cn×n非奇异，B∈Cn×n，且对Cn×n上的某种矩阵范数∥⋅∥，有∥A−1B∥<1,则A+B非奇异

证明很简单，由于∥A−1B∥<1，所以∥−A−1B∥<1，再用上面的定理的证。

矩阵分析

矩阵收敛

定义：设A为方阵，且当k→∞时，有Ak→O ,则称A为收敛矩阵

定理：Ak→O(k→∞)的充要条件是ρ(A)<1

证明:充分性由前面的定理有∥A∥M≤ρ(A)+δ

对于δ=12[1−ρ(A)]则

∥A∥≤12[1+ρ(A)]<1

于是∥Ak∥M≤∥A∥kM→0,故Ak→O

必要性：已知Ak→O，设λ是A的任一特征值，对应的特征向量为x，则有Ax=λx(x≠0),因为

λkx=Akx→0所以λk→0，从而|λ|<1故ρ(A)<1

推论：Ak→O(k→0)的充分条件是只要有一种矩阵范数∥⋅∥,s使∥A∥<1

证明很简单，ρ(A)≤∥A∥<1，由前面的定理立马得出结果。

矩阵级数

定义：