我对特征值与特征向量的理解

  既然是写思想，那么也把之前写过的一些个人觉得比较好的思考文章陆续发表到这个博客吧。下面这篇写关于“特征值和特征向量”的理解（写于2011-11-11），是在本人考研期间复习线性代数时思考好些天写的。之前只觉得对以后的学弟学妹比较有用，本人这段时间研究回归分析，发现也需要大量线性代数知识，就拿出来跟更多人分享。文章除了排版，内容并未改动，现在读来是有不少疑问的。

-------------------------------下面是当时写的文章----------------------------------------

  和很多大学生朋友一样，我也一直被线性代数中的矩阵的特征值和特征向量的意义所困。它似乎是先有公式，而后才有定义。就像有人告诉你女人就是那个样子，抽象的你无法探究为什么是这个样子。自己思索了一段时间，又在网上查了哈相关的博客文章，特征值与特征向量的意义渐渐清晰起来。不揣冒昧，权且对特征值和特征向量内涵探索的小打小闹。

提出几个基本问题

特征值和特征向量是矩阵专有的特征？
特征值与特征向量究竟代表着矩阵的什么具体特征？
矩阵本身代表着什么意义呢？
特征值与特征向量是鸡生蛋的关系，还是蛋生鸡的关系？

  这是几个大问题，还有一些小问题是在搞懂这些大问题之后产生并需要搞懂的。

  我们从公式 A*x = cx 入手。A是个矩阵，x也是个矩阵（我们需要把x看作向量更有助于理解，写成矩阵是为了 矩阵乘法运算规则的需要），c是常数系数。我们寻找他们的意义，不可回避的问题是从什么角度上找它的意义。物理，化学，哲学，都可以有意义，但是那是在其他学科中运用后的意义。其实，我们还是应该用数学角度的意义去解释他们，才能更好的运用到其他学科。那么，什么是数学角度呢？我的理解是空间，一个n维空间，一维时已经可以解释所有实数了，二维时可以解释所有复数了，或者一个平面图形了。以此类推，数学就是放在n维空间的基础上去解释问题。那好，先说n维空间本身又具有什么特征呢？必须是n个相互正交的维度。每个维度可以想像成一个坐标轴，有正方向和负方向。向量是什么意义呢?容易想象n维向量就是n维空间中的特定的方向。一个向量就是一个方向。把A乘到x上，得到一个方向未变但在长度上有伸缩改变的向量（方向未变不准确，有可能变反向）。这是让A乘以他的特征向量表现出来的性质。如果让A乘以一个非特征向量y，显然会得到一个跟y方向不同的向量（也许长度也会有伸缩）。这是将矩阵乘到向量上向量所发生的改变。那么，乘以一个矩阵似乎就对应一种变换。我们暂时理解矩阵本质上就是n维空间上的一种变换。显然还不够过瘾，你也许想矩阵怎么不对应空间上一个实物，像向量那样？对，一定对应，只是我们还需要将他找寻。我们喜欢用已知探索未知，也许我可以假设你具备将某种未知先当作一个特殊的已知的思维方式。我们把矩阵先当作一种特殊的向量。我又要提问了，向量a点乘向量b是个什么东西呢？是a在b上的投影（为了方便理解，我们把投影约束为大小，而不具备方向）。我们还需要约束一个重要的概念，我们把方向在其所在维度上归一，也就是一个单位向量。那好，方向就是单位向量。 A*x
= cx，左式即可理解为大小等于A在方向x上的投影并且方向与x相同的向量。c此时就是投影。重复一边，特征值就是投影。矩阵有n个特征值（先假定各不相同），那么就对应n的正交的特征向量，矩阵在各特征向量上都有投影，大小等于特征值。现在可以回答矩阵的实物意义了，那就是它的各特征向量在n维空间上的组合，组合系数就是对应各线性值。细心的朋友可能发现这个定义是在各特征向量皆归一化的基础上的，也发现特征值一定唯一，但特征向量因为标准定义规定的原因可以不唯一，即可在归一化特征向量前面添加任意不为零的系数。我苟且给出一松式：n个不同的特征向量的方向
+ 特征值大小的投影 = 矩阵。到目前为止，我都假设的是矩阵A有n个不同的特征值。

  上面的问题，前三个问题基本有了答案，还差第4个问题，暂没法解答。

提出几个特殊问题

矩阵的一定有n个特征值（算上重根），那么对应的特征向量之间是什么关系了？
为什么会有重根，重根到底对应几个线性无关的特征向量呢？
如果某特征值为0，那么说明对应的特征向量上投影为0，那还有什么方向可言，可为什么A * x = 0 居然还有解了，即特征向量？

  我们都发现这个现象，不关是什么样的矩阵，不同的特征值对应的都是互相线性无关的特征向量。而重根有可能对应线性无关的特征向量，也可能都对应一个方向。这只是对上面问题的解释。现在我们再来审视矩阵的几何意义。特征值只是代表某特征方向上的投影（大小），这样想来他们相不相等没有任何直接关系，完全可以各自对应不同的特征方向，这只是矩阵在他的某几个特征方向上的投影大小相等而已。而重根对应同一个特征方向，又该如何解释了？这个问题，暂时保留探讨。

  关于特征值为0时
4000
，为什么有特征方向？我们能说（0,y,z）就是（y,z）吗？显然不能，前者说明在三个方向上定义某物，尽管其中一个方向上没有作用，后者却只探讨某物在两个方向的作用。定义的基础都不一样，自然不能完全一样。矩阵的定义也是如此，可以看出方向较之投影是先行特征，方向是与投影无关的一种特性。

应用上面的理解解释问题

  到这里了，大部分问题已经解决了。也许，聪慧的朋友们可以用上面的理解来解释问题或者做题了。或者跟着我继续看看这些理解能怎么做题。

  前提：Ci是A的特征值，Xi是对应的特征向量。
可逆A^(A逆)的特征呢？——由(A^)*A = E . A逆只需要在原有的矩阵基础上将各特征方向上的特征值取倒，同方向相乘，即可归一化为投影为1.那就是说对A逆，1/Ci 对应 Xi。
转置A的特征呢？ ——由A的转置的定义，可以想象A转置是将A围绕原点做一个正交角度的的旋转。那就是特征值没变，那特征向量呢？可千万别秒杀说：必须也不变啊，因为是旋转的是正交角度嘛。估计看到这篇文章的都是学弟学妹，我苟且告诫你们，思考问题一定不要想当然（我的这篇文章也存在一些想当然，因为量有点大，考验期间，时间有限，无法考证，非常抱歉）。开始想象在二维坐标空间里，两个垂直的向量a，b，绕原点逆时针90度，那么最后新的向量a’肯定与b方向相同，b'肯定与a方向相反（记得，相反也约定为方向相同哦）。那么，对矩阵A而言，如果其n个特征方向是正交的，那么对A转置，就有Ci
对应 Xi。此时也说明A转置就等于A（因为他们连几何意义即本质都相等了）。这时候不难理解书上实对称矩阵的那些性质了。而非对称矩阵的特征方向组是一组线性无关但不互相正交的向来组。在二维空间上，a，b线性无关却不垂直时，旋转90度，显然得到仅仅是两个新的线性无关的a',b'.  那么，对于矩阵A而言，如果其n个特征方向仅仅是线性无关的，那么对A转置，就有Ci 对应 一个新的Yi .
相似B~A, B的特征呢？——B相似A等价于两者特征值相同。刚才上面讨论过，特征值相同跟特征方向没有任何直接关系，完全可以对应不同的特征方向。所以，B的Ci并不对应Xi. 但是注意了，特征值相等是A和B相似的必要条件，而非充分条件。那么就说矩阵相似，除了特征值相等，特征向量之间应该还有某种联系，只不过不一定相等罢了。那么是什么关系呢？就是相似<=>特征值相等，以及A的特征向量组和B的特征向量组等价。比如，在n维坐标中，A和B特征值相等，但是A的特征向量组可以与其中确定的n-1个维度的等价，B的特征向量组等价于另n-1个维度。这样A与B就不相似。
还有类似（A + A^ - E）= 3E,为什么可以带入Ci直接运算了？等等问题，都可以很容易解释了，留给大家自己思考吧

  最后，我来总结一下。简单点：线性无关的方向 + 相应的投影 = 矩阵 = 变换

  如果将人生各阶段当作不同的维度 ：n个不同人生阶段 + 相应的能量 = 人生

                                                          于2011-11-11