向量的范数及其一个简单的应用

所谓向量的范数可以简单的理解为向量的长度，或者说向量到零点的距离。

向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ， 三角不等式||x+y|| <= ||x|| + ||y||。

常用的向量的范数：

L1范数: ||x|| 为x向量各个元素绝对值之和

L2范数: ||x||为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或者Frobenius范数

Lp范数: ||x||为x向量各个元素绝对值p次方和的1/p次方

L∞范数: ||x||为x向量各个元素绝对值最大那个元素的绝对值（无法用公式表达，就感觉很别扭）。

椭球向量范数: ||x||A = sqrt[T(x)Ax]， T(x)代表x的转置。

两个向量的相似度：有了范数的定义，就好比知道了距离的概念，知道了距离的概念，就可以判断两个向量是否相似。比如Euclidean距离，也就是所谓的L2范数。

举例模式分类，近邻分类法，已知样本模式为s1, s2, …., sM, 未知模式向量为x

那么分别计算距离(范数)||x-s1||, ||x-s2||, …, ||x-sM||，找出距离最小的那个si，问题就被解决了。 欧拉距离是一种解法；再有一个常用的解法是利用 Mahalanobis距离,

定义矩阵C 为M个模式向量的协方差矩阵， 设C`是其逆矩阵，则Mahalanobis距离定义为||x||C` = sqrt[T(x)C’x], 这是一个关于C’的椭球向量范数。