如何理解特征值和特征向量

学完线性代数的同学,可能会对线性代数的很多概念有所疑惑.

这个东西有什么用?那个玩意定义出来有什么意义?

本文将探讨线性代数中及其重要的两个概念:特征值与特征向量.

(PS:下文中的矩阵A均认为是方阵)

矩阵不单单是二维的数组,它更重要的角色是映射:y⃗ =Ax⃗

y⃗ =Ax⃗ 就相当于y⃗ =f(x⃗ ),矩阵A是把向量x⃗ 映射到向量y⃗ 的一个函数,或者说,映射,算子.

从一般的角度看,这个映射无非就是矩阵乘向量,说得具体一点,就是n次的向量点积计算.

(矩阵的一行乘上向量,并对结果向量的所有元素求和,就是一次点积)

错!实际上,这个映射本质是一个缩放操作.

举一个简单的例子,矩阵A=(43−2−1)

它的特征值分别是2和1,特征向量是(11)和(23).

设向量x⃗ =(12),那么显然结果y⃗ =Ax⃗ =(01).

我们使用另一种方法计算,首先我们将x⃗ 表示成特征向量(11)和(23)的线性组合,即:

x⃗ =(12)=−1∗(11)+1∗(23)

然后,我们将特征值和对应的系数相乘,得到:

y⃗ =−1∗2∗(11)+1∗1∗(23)=−2∗(11)+1∗(23)

显然,如果你继续计算下去,你也会得到y⃗ =(01)

特征值和特征向量的意义就在于此!

矩阵所充当的映射,实际上就是对特征向量的缩放,每个特征向量的缩放程度就是特征值.

因此,我们需要将向量x⃗ 表示成特征向量的线性组合(相当于以特征向量为基),得到相应的特征向量的权重.

然后,每个权重与特征值相乘,就是这个映射最本质的缩放操作.

基于这样的理解,我们可以很简单地解释很多结论.

1.对角化分解

对角化分解实际上就是我们解释特征值含义的过程.

A=PΛP−1,其中P是由特征向量组成的矩阵,Λ是由特征值组成的对角矩阵.

在解释对角化分解之前,我们还要先解释矩阵的另一个含义.

对于z⃗ =Py⃗ ,事实上矩阵P还有其他含义,比如在这里有转换基向量的含义:

y⃗ 是特征向量为基所表示的向量,上文y⃗ =−2∗(11)+1∗(23),那么y⃗ 在特征向量为基的表示是y⃗ =(−21)

z⃗ 则是坐标轴为基所表示的向量,假如z⃗ 的表示为z⃗ =(01),相当于z⃗ =0∗(10)+1∗(01)

那么z⃗ =Py⃗ 的含义就是把一个向量从特征向量为基的表示y⃗ ,转变成以坐标轴为基的表示z⃗ .

相应,y⃗ =P−1x⃗ 的含义则相反,是把一个向量从坐标轴为基的表示x⃗ ,转变成以特征向量为基的表示y⃗ .

那么y⃗ =Ax⃗ =PΛP−1x⃗ ,我们就可以解释了.

首先,P−1x⃗ 是将x⃗ 转变成用特征向量表示,上文x⃗ =(12)=−1∗(11)+1∗(23),就是把(12)变成了(−11).

然后ΛP−1x⃗ ,就是对应的特征值与权重作乘法,得到(−21).

最后y⃗ =PΛP−1x⃗ ,就是把(−21)重新转换成坐标轴为基的表示,得到(01).

2.逆矩阵的特征值分别是原矩阵特征值的倒数

是因为原矩阵放大了2倍,逆矩阵就要相应地缩小到原本的12.

当然,特征向量要保持对应,因此这也解释了为什么逆矩阵的特征向量和原矩阵一样

3.特征值为0,意味着不可逆

参考第2点,0没有倒数.

4.通过解Ax⃗ =λx⃗ 来寻找特征值

显然,在这里λ是特征值,x⃗ 是特征向量.

把x⃗ 变成以A的特征向量为基来表示的话,那么权重肯定只有1个1,其他都为0,那个1对应的特征向量当然是x⃗ 本身.

这个时候进行缩放,那么只有x⃗ 的权重被缩放了,其他特征向量的权重都是0,0乘任何数为0.

那么,Ax⃗ 的结果就相当于λx⃗ 了,因为λx⃗ 就是x⃗ 作了相应的缩放,缩放因子就是特征值λ.