范数(norm)

     范数，在机器学习中通常用于衡量一个向量的大小，形式上，

    

范数的定义如下：



     其中 p>=1

     从宏观上来讲，范数是将向量映射到非负值的函数，从直观上来说，范数是向量x到原点的距离。

     但是范数并不局限于上述的公式，对任意的函数只要满足以下的性质，则可以称该函数是范数：

     1)对于 f(x) = 0，则一定有x = 0

     2) f(x + y) <= f(x) + f(y)

     3)对任意的标量a，一定有 f(ax) = |a| f(x)

     注意：以上性质中，x与y都是向量。

     当p = 2时，

范数就是我们通常讲的欧几里得范数.

     常用的范数形式，除了上述的欧几里得范数，还有用于统计向量中非零元素个数的

范数；用于求得向量中具有最大幅值的元素的绝对值的无穷范数，也叫最大范数(max norm)

。相应的计算方法将p的值代入文章第一条公式即可。

     有时候，我们也需要表示矩阵的大小，在深度学习中，我们通常用Frobenius范数来衡量一个矩阵的大小，计算公式如下：