线性代数基本公式结论简要总结(5)
2018-03-09 19:20
323 查看
本文总结对称矩阵、二次型和奇异值分解等内容。
由于对称矩阵具有许多良好的性质,工程上被广泛应用。二次型和奇异值分解也是由对称矩阵具有的特殊性质推广得到的
首先不要忘了之前讲特征值时提到的对角化公式:
A=PDP−1A=PDP−1
A具有n个线性无关的特征值,P的列空间由A的特征向量构成,D是对角线元素为A的特征值的对角矩阵
若A为对称矩阵,则其不同特征空间中(一个特征值对应的所有特征向量构成的子空间)的任意两个向量正交,即P为正交矩阵
一个方阵A可正交对角化的充要条件:A是对称矩阵
对称矩阵的谱定理:
矩阵A的特征值的集合称为A的谱。若A为n*n对称矩阵,有:
1.A有n个实数特征值(包括重复的特征值)
2.对每一个特征值,对应的特征子空间的维数等于λλ作为特征方程的根的重数
3.特征空间相互正交
4.A可正交对角化
因此对于对称矩阵,有一下有趣形式的谱分解:
A=PDPT=[λ
4000
1u1...λnun][uT1...uTn]TA=PDPT=[λ1u1...λnun][u1T...unT]T
A=λ1u1uT1+...+λnunuTnA=λ1u1u1T+...+λnununT
即A可分解为由A的特征值作为权重的各个小部分,显然,对于λλ值较小的部分,可以适当忽略,只留下一些较大特征值的加权和,而不影响原矩阵整体的特征表达
二次型:
RnRn上的一个二次型是一个定义在RnRn上的函数,它在向量x处的值可以由表达式Q(x)=xTAxQ(x)=xTAx计算,此处A是一个n阶对称矩阵,且矩阵A成为关于二次型的矩阵
可以看到,如果矩阵A是对角矩阵,则多项式Q(x)没有交叉项,否则有交叉项。这时我们想要通过适当的变量代换消去所有的交叉项
二次型的变量代换:
如果x表示RnRn中的向量变量,则变量代换是如下形式的等式:
x=Pyx=Py 或 y=P−1xy=P−1x
其中P是可逆矩阵且y是RnRn中的一个新变量,P的列可以确定RnRn的一个基,y是相对于该基向量x的坐标向量。将上述等式带入原式,有:
xTAx=yT(PTAP)yxTAx=yT(PTAP)y
从而新的二次型矩阵为PTAPPTAP,由于A是对称矩阵,因此存在正交矩阵P,使得PTAPPTAP为对角矩阵D(对角元素为A的特征值):
xTAx=yTDyxTAx=yTDy
这样一来,就消除了原来多项式中的交叉项
上述去除交叉项的变换中,矩阵P的列称为二次型xTAxxTAx的主轴,向量y是向量x在由这些主轴构造的RnRn空间的单位正交基下的坐标向量
主轴的几何意义:
不失一般性,考虑矩阵A为2阶对称方阵,c为常数,则所有对应下式的x的集合,对应一个椭圆或圆、双曲线、两条相交直线或单个点、或为空集:
xTAx=cxTAx=c
xTAx=yTDyxTAx=yTDy 的变换相当于是对曲线做了旋转,即旋转了原始的水平和竖直坐标轴
二次型的分类:
def:一个二次型Q是:
1.正定的:对所有非零x,有Q(x)>0
2.负定的:对所有非零x,有Q(x)<0
3.不定的:Q(x)正负值均存在
A为n阶矩阵,则二次型对应特征值有:
1.正定:当且仅当A的所有特征值均为正数
2.负定:当且仅当A的所有特征值均为负数
3.不定:当且仅当A既有正特征值,又有负特征值
相应的矩阵分为:正定矩阵、负定矩阵、不定矩阵
奇异值分解:
考虑到并不是所有矩阵都能对角化分解为:A=PDP−1A=PDP−1,但是,所有矩阵都可以分解为如下形式,也就是奇异值分解:
A=QDP−1A=QDP−1
其中D是”对角矩阵“。它是线性代数中最有用的矩阵分解
一个mn矩阵的奇异值:
设A是mn矩阵,则ATAATA是对称矩阵且可以正交对角化,令{v1,...vnv1,...vn}为RnRn单位正交基且构成ATAATA的特征向量,{λ1...λnλ1...λn}是AATAAT对应的特征值,则有:
||Avi||2=(Avi)TAvi=vTiATAvi=vTi(λivi)=λi||Avi||2=(Avi)TAvi=viTATAvi=viT(λivi)=λi
可见ATAATA的所有特征值均非负,不妨将其从大到小排序。则A的奇异值为ATAATA的特征值的平方根,记为σ1,...,σnσ1,...,σn,且按递减顺序排列,因此A的奇异值即为向量Av1,Av2,...AvnAv1,Av2,...Avn的长度
在数值计算中,A的秩往往对A中元素的微小变化很敏感,为此在计算矩阵的秩时,通常采用计算非零奇异值的个数的方法得到秩的值
SVD分解:
矩阵A的分解涉及一个m*n的“对角矩阵”Σ,形式如下:
Σ=Σ=
几何意义:
我们知道,一个向量被一个对角矩阵左乘,相当于在原空间中做了水平和竖直两方向的拉伸,被一个对称矩阵左乘,相当于在原空间中先做了绕原点的旋转,然后再做了沿两个坐标轴的拉伸。而被一个mn矩阵左乘,则会使空间维度发生改变,相当于对向量做了高维或低维的投影,然后在做旋转或拉伸变换
在SVD分解公式中,矩阵∑起到改变空间维度的作用,UU和VTVT起到在新的空间中旋转并拉伸的作用
协方差矩阵:
主成分分析(PCA):
由于对称矩阵具有许多良好的性质,工程上被广泛应用。二次型和奇异值分解也是由对称矩阵具有的特殊性质推广得到的
首先不要忘了之前讲特征值时提到的对角化公式:
A=PDP−1A=PDP−1
A具有n个线性无关的特征值,P的列空间由A的特征向量构成,D是对角线元素为A的特征值的对角矩阵
若A为对称矩阵,则其不同特征空间中(一个特征值对应的所有特征向量构成的子空间)的任意两个向量正交,即P为正交矩阵
一个方阵A可正交对角化的充要条件:A是对称矩阵
对称矩阵的谱定理:
矩阵A的特征值的集合称为A的谱。若A为n*n对称矩阵,有:
1.A有n个实数特征值(包括重复的特征值)
2.对每一个特征值,对应的特征子空间的维数等于λλ作为特征方程的根的重数
3.特征空间相互正交
4.A可正交对角化
因此对于对称矩阵,有一下有趣形式的谱分解:
A=PDPT=[λ
4000
1u1...λnun][uT1...uTn]TA=PDPT=[λ1u1...λnun][u1T...unT]T
A=λ1u1uT1+...+λnunuTnA=λ1u1u1T+...+λnununT
即A可分解为由A的特征值作为权重的各个小部分,显然,对于λλ值较小的部分,可以适当忽略,只留下一些较大特征值的加权和,而不影响原矩阵整体的特征表达
二次型:
RnRn上的一个二次型是一个定义在RnRn上的函数,它在向量x处的值可以由表达式Q(x)=xTAxQ(x)=xTAx计算,此处A是一个n阶对称矩阵,且矩阵A成为关于二次型的矩阵
可以看到,如果矩阵A是对角矩阵,则多项式Q(x)没有交叉项,否则有交叉项。这时我们想要通过适当的变量代换消去所有的交叉项
二次型的变量代换:
如果x表示RnRn中的向量变量,则变量代换是如下形式的等式:
x=Pyx=Py 或 y=P−1xy=P−1x
其中P是可逆矩阵且y是RnRn中的一个新变量,P的列可以确定RnRn的一个基,y是相对于该基向量x的坐标向量。将上述等式带入原式,有:
xTAx=yT(PTAP)yxTAx=yT(PTAP)y
从而新的二次型矩阵为PTAPPTAP,由于A是对称矩阵,因此存在正交矩阵P,使得PTAPPTAP为对角矩阵D(对角元素为A的特征值):
xTAx=yTDyxTAx=yTDy
这样一来,就消除了原来多项式中的交叉项
上述去除交叉项的变换中,矩阵P的列称为二次型xTAxxTAx的主轴,向量y是向量x在由这些主轴构造的RnRn空间的单位正交基下的坐标向量
主轴的几何意义:
不失一般性,考虑矩阵A为2阶对称方阵,c为常数,则所有对应下式的x的集合,对应一个椭圆或圆、双曲线、两条相交直线或单个点、或为空集:
xTAx=cxTAx=c
xTAx=yTDyxTAx=yTDy 的变换相当于是对曲线做了旋转,即旋转了原始的水平和竖直坐标轴
二次型的分类:
def:一个二次型Q是:
1.正定的:对所有非零x,有Q(x)>0
2.负定的:对所有非零x,有Q(x)<0
3.不定的:Q(x)正负值均存在
A为n阶矩阵,则二次型对应特征值有:
1.正定:当且仅当A的所有特征值均为正数
2.负定:当且仅当A的所有特征值均为负数
3.不定:当且仅当A既有正特征值,又有负特征值
相应的矩阵分为:正定矩阵、负定矩阵、不定矩阵
奇异值分解:
考虑到并不是所有矩阵都能对角化分解为:A=PDP−1A=PDP−1,但是,所有矩阵都可以分解为如下形式,也就是奇异值分解:
A=QDP−1A=QDP−1
其中D是”对角矩阵“。它是线性代数中最有用的矩阵分解
一个mn矩阵的奇异值:
设A是mn矩阵,则ATAATA是对称矩阵且可以正交对角化,令{v1,...vnv1,...vn}为RnRn单位正交基且构成ATAATA的特征向量,{λ1...λnλ1...λn}是AATAAT对应的特征值,则有:
||Avi||2=(Avi)TAvi=vTiATAvi=vTi(λivi)=λi||Avi||2=(Avi)TAvi=viTATAvi=viT(λivi)=λi
可见ATAATA的所有特征值均非负,不妨将其从大到小排序。则A的奇异值为ATAATA的特征值的平方根,记为σ1,...,σnσ1,...,σn,且按递减顺序排列,因此A的奇异值即为向量Av1,Av2,...AvnAv1,Av2,...Avn的长度
在数值计算中,A的秩往往对A中元素的微小变化很敏感,为此在计算矩阵的秩时,通常采用计算非零奇异值的个数的方法得到秩的值
SVD分解:
矩阵A的分解涉及一个m*n的“对角矩阵”Σ,形式如下:
Σ=Σ=
几何意义:
我们知道,一个向量被一个对角矩阵左乘,相当于在原空间中做了水平和竖直两方向的拉伸,被一个对称矩阵左乘,相当于在原空间中先做了绕原点的旋转,然后再做了沿两个坐标轴的拉伸。而被一个mn矩阵左乘,则会使空间维度发生改变,相当于对向量做了高维或低维的投影,然后在做旋转或拉伸变换
在SVD分解公式中,矩阵∑起到改变空间维度的作用,UU和VTVT起到在新的空间中旋转并拉伸的作用
协方差矩阵:
主成分分析(PCA):
相关文章推荐
- 线性代数基本公式结论简要总结(2)
- 线性代数基本公式结论简要总结(1)
- 线性代数基本公式结论简要总结(4)
- 线性代数基本公式结论简要总结(3)
- 线性代数(十六) : 矩阵的左零空间及四个基本子空间总结
- 【算法总结】线性代数相关
- 线性代数-矩阵及其运算(总结)
- 线性代数笔记1:矩阵的四个基本子空间
- 线性代数—相似矩阵与二次型(总结)
- 线性代数总结
- 【线性代数公开课MIT Linear Algebra】 第十九课 行列式的公式
- 线性代数学习总结
- 平面几何常用定理、结论总结 第〇篇 基本定义、性质
- 线性代数阶段性总结
- 李群,李代数知识点总结(无数学公式)
- 线性代数总结
- 线性代数导论25——第二阶段总结
- 线性代数笔记1——矩阵的基本运算
- 线性代数中基的转换总结
- 线性代数在机器学习上的基本应用