矩阵分析（三）内积空间

根据前面的知识，可知，在线性空间中，向量之间的基本运算只有加法和数乘向量两种运算，而向量的度量在线性空间理论中没有反映，这局限了线性空间理论的应用。在本篇中，我们将借助于内积把度量概念引入到线性空间当中。

欧氏空间和酉空间

内积空间时在线性空间基础上再定义多四个条件，如果针对的是实数域，这类内积空间称为欧氏空间，如果针对的是复数域，这类内积称为酉空间。其中，复数域与实数域条件稍有区别，即引入了共轭运算。基于此，两类空间各有各的性质。但是，综合起来说，酉空间的性质均适用于欧氏空间，而欧氏空间的性质并不完全适用于酉空间。

欧氏空间中的转置对应于酉空间中的复共轭转置，所以，欧氏空间中的很多定理可以通过把转置替换为复共轭转置的方式迁移到酉空间中去。

欧氏空间，酉空间这两类空间之所以被提出，是为了将度量概念引入线性空间中，所以需要关注度量的基本性质：

非负性
齐次性
三角不等式
Cauchy-Schwars不等式
Gram-Schmidt正交化方法

在解析几何中，垂直是一个非常重要的概念。当两个向量垂直时，他们的内积为零。在内积空间中引入了相似的概念，当连个向量的内积为零时，称这它们为正交向量。进一步拓展，可以得到正交向量组的概念。

如果一组向量不仅正交，而且自己与自己的内积为1，那么称这样的向量组为标准正交向量组。

可以证明，正交向量组是无关向量组。既然是无关的，那么自然而然可以想到，拿他们来构成线性空间的一组基，这组基称为标准正交基。

从线性空间的任何一组基出发，可以采用Gram-Schmidt正交化方法构造出一个标准正交基。

引入标准正交基的好处是使得度量矩阵变为单位矩阵，在很多计算问题中可用以简化运算。

正交变换与酉变换

由标准正交向量组构成的矩阵具有什么性质呢？

首先给出两种重要矩阵的定义：

对实数阵，如果有


 ，称

 是正交矩阵。

类似的，对复数阵，如果将上式的转置改为复共轭转置，则称 

 是酉矩阵。

换种说法，就是矩阵的逆等于它的复共轭转置。由此可见，对于这类矩阵，求逆矩阵是十分方便的。

可以证明，由两类矩阵的列或者行构成的向量组就是标准正交向量组。而正交变换和酉变换在标准正交基下的矩阵表示分别就是这两者。

而正交变换和酉变换的实质是内积空间中不改变向量内积结果的线性变换，也就是说变换前后度量不会发生改变，在解析几何中就是指长度不变，比如平移，旋转等操作就具有度量的不变性。

幂等矩阵

接下来再介绍另外一种特殊的矩阵——幂等矩阵，简单说来就是平方等于本身的矩阵。

这类矩阵有个特殊的性质，就是其特征值非零即1。并且与它相关的很多矩阵也具有特殊性质，比如它的转置，复共轭转置也都是幂等矩阵等。

正交投影

先说说投影，投影定义为：将一个空间中的向量唯一的表示为其两个互补子空间中的向量之和，这时称其中属于某个子空间的子向量为原向量沿其补子空间到本子空间的投影。如果对应的操作时线性映射，就称之为投影映射，如果对应的操作时线性变换，就称之为投影变换。好吧，说的通俗一点，就是有降维的投影对应于投影映射，没有降维的投影对应于投影变换。

对于投影变换，有个有趣的地方就是它的矩阵表示是幂等矩阵，它的值域和核空间的交集是零空间。

如果投影到的两个互补子空间是正交的，那么，这种投影就成为正交投影。前面讲到的直和补，是指两个子空间的交集为零空间，更进一步，如果两个子空间还是正交的，这个时候称为正交补，由此可以引申出正交和的概念。既然正交补是强化的直和补，自然直和补的性质就都适用于正交和了。

正交投影在标准正交基下的矩阵表示可以分解成一个次酉矩阵乘以它的复共轭转置。什么是次酉矩阵？就是行数大于列数，且各列可以组成标准正交向量组的矩阵。对这个矩阵有一条重要的式子

 。

对称变换与反对称变换

接下来介绍的两种变换对应于欧氏空间。

如果对内积中的某个元素作线性变换之后得到内积，与对另外一个元素作同样变换之后得到的内积相等，那么称这样的变换为对称变换。这种变换在标准正交基下的矩阵表示为对称矩阵。

反对称变换与此类似。

正规矩阵

正规矩阵是另外一类非常重要的矩阵，它只比酉矩阵少了一项约束，即定义它与其复共轭转置乘积等于其复共轭转置与它的乘积，但不要求等于单位矩阵。也就是说，酉矩阵是强化的正规矩阵。因此，酉矩阵的所有性质均适用于正规矩阵，正规矩阵的应用场合广于酉矩阵。

讲到正规矩阵，就不得不提到酉相似的概念，因为正规矩阵的很多性质与酉相似相关。

设 

 和 

 为


 阶方阵，若存在 

 阶矩阵


 使得 

 ，则称矩阵


 酉相似于


 。

由此定义出发，可以得到Schur引理，及任何一个 

 阶复矩阵酉相似于一个上（下）三角矩阵。

正规矩阵的重要性体现在，与相似性原理联系起来，它酉相似于对角矩阵，且对角矩阵元素是它的特征值。与正交关系联系起来，它属于不同特征值的子空间互相正交。此外，在正规矩阵分别为Hermite矩阵，反Hermite矩阵，酉矩阵时，它的特征值显现出特殊的形式，分别为均是实数，均是纯虚数，模长均为1。

正规变换

每个方阵均对应于一个线性变换，正规矩阵作为方阵，肯定也不例外，他对应的变换为正规变换。既然如此，正规矩阵的很多性质就可以直接套到正规变换中来，比如正规矩阵可以对角化，所以正规变换是可以对角化的线性变换，也就是说，存在一个标准正交基使得它可以表示为对角矩阵。

Hermite矩阵与Hermite变换

所谓Hermite矩阵，就是将对称矩阵推广到复数域上，这里多了转置的概念而已。换句话说，对称矩阵其实是Hermite矩阵在实数域的特殊表现形式。很多对称矩阵的性质同样适用于Hermite矩阵。

Hermite矩阵对应的线性变换就是Hermite变换，根据前面的知识，Hermite的性质可以被直接应用于Hermite变换上面，这里不再赘述。

类似地，由反对称矩阵和反对称变换可以扩展得到反Hermite矩阵和反Hermite变换。

待续。