读“机器学习中的范数规则化之（一）L0、L1与L2范数”笔记

项目中遇到范数正则化问题，今天拜读了邹晓艺大神的博文《机器学习中的范数规则化之（一）L0、L1与L2范数》，
1）其中L0、L1主要是用来特征选择，能够将含有信息量小的特征权重优化为0，从而降低特征的维度
2）L2主要是来防止过拟合（其实在实际工程中，有些反而需要我们去过拟合，比如广告的点击），此正则化偏向于将特征的权重都调整的比较小，分布相对比较均匀，而不是将特征权重调整为0。这样为什么能够防止过拟合呢，我们看下面的三种情形：



上图中最右边的图是过拟合，从过拟合的特点我们可以看出，其对于噪声点也过分的拟合，造成曲线不够平滑，L2则趋向于将权重调整的相对比较平均，我们知道在高次方程中，特别是高次项的系数，是造成曲线陡增（减）的主要因子，我们如果能够将系数调整的比较均匀，那么就能够避免这种过拟合现象的发生。

3）模型空间的限制：在此节中的两幅图能够很好的说明问题

实际上，对于L1和L2规则化的代价函数来说，我们可以写成以下形式：



也就是说，我们将模型空间限制在w的一个L1-ball 中。为了便于可视化，我们考虑两维的情况，在(w1, w2)平面上可以画出目标函数的等高线，而约束条件则成为平面上半径为C的一个 norm ball 。等高线与 norm ball 首次相交的地方就是最优解：



目标函数的等高线：等高线的表示的意义就是在Y值固定，差值B固定的条件下，使(y-w1*X1-w2*X2)^2=b成立的（w1, w2）的数对，而且圈越小则对应的B越小（椭圆方程的变形还比较容易理解），即是目标函数值越小，而约束条件即是下面的菱形或圆，那满足条件的最小值，自然就是两个图形相切的时候，参数C也是我们在模型训练的时候最重要的调节参数