L0 norm、L1 norm、L2 norm(L0、L1、L2范数)

转载：

　欧氏距离（Euclidean distance）也称欧几里得度量、欧几里得度量，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。在二维和三维空间中的欧氏距离的就是两点之间的距离。

计算公式

二维的公式

　　ρ = sqrt( (x1-x2)^2+(y1-y2)^2 )

三维的公式

　　ρ = sqrt( (x1-x2)^2+(y1-y2)^2+(z1-z2)^2 )

n维空间的公式

　　n维欧氏空间是一个点集,它的每个点 X 可以表示为 (x[1]，x[2]，…，x
) ，其中 x[i](i = 1，2，…，n) 是实数，称为 X 的第i个坐标，两个点 A = (a[1]，a[2]，…，a
) 和 B = (b[1]，b[2]，…，b
) 之间的距离 ρ(A，B) 定义为下面的公式。

　　ρ(A，B) =sqrt [ ∑( a[i] - b[i] )^2 ] (i = 1，2，…，n)

Lp space

p范数：║x║p=(|x1|^p+|x2|^p+…+|xn|^p)^{1/p}

1范数就是绝对值的和

L0范数是指向量中非0的元素的个数

L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。

L2范数: ||W||2。它也不逊于L1范数，它有两个美称，在回归里面，有人把有它的回归叫“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。

L2范数的好处

1）学习理论的角度：

从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。

2）优化计算的角度：

从优化或者数值计算的角度来说，L2范数有助于处理 condition number不好的情况下矩阵求逆很困难的问题。

重点内容

L1 norm就是绝对值相加，又称曼哈顿距离

L2 norm就是欧几里德距离