Google---机器学习速成课程(十一)- 稀疏性正则化 (Regularization for Sparsity)
2018-04-04 11:25
381 查看
稀疏性正则化 (Regularization for Sparsity)
本模块主要介绍学习多维度特征矢量的模型的特殊要求。学习目标
了解如何使信息缺乏的系数值正好为 0,以便节省 RAM。
了解 L2 正则化之外的其他类型的正则化。
了解 ROC 曲线和曲线下面积。
-------------------------------------------------------稀疏矢量通常包含许多维度。创建特征组合会导致包含更多维度。由于使用此类高维度特征矢量,因此模型可能会非常庞大,并且需要大量的RAM。在高维度稀疏矢量中,最好尽可能使权重正好降至
0。正好为 0 的权重基本上会使相应特征从模型中移除。 将特征设为 0 可节省 RAM 空间,且可以减少模型中的噪点。以一个涵盖全球地区(不仅仅只是涵盖加利福尼亚州)的住房数据集为例。如果按分(每度为 60 分)对全球纬度进行分桶,则在一次稀疏编码过程中会产生大约 1 万个维度;如果按分对全球经度进行分桶,则在一次稀疏编码过程中会产生大约 2 万个维度。这两种特征的特征组合会产生大约 2 亿个维度。这 2 亿个维度中的很多维度代表非常有限的居住区域(例如海洋里),很难使用这些数据进行有效泛化。 若为这些不需要的维度支付 RAM 存储费用就太不明智了。 因此,最好是使无意义维度的权重正好降至 0,这样我们就可以避免在推理时支付这些模型系数的存储费用。我们或许可以添加适当选择的正则化项,将这种想法变成在训练期间解决的优化问题。L2 正则化能完成此任务吗?遗憾的是,不能。 L2 正则化可以使权重变小,但是并不能使它们正好为 0.0。另一种方法是尝试创建一个正则化项,减少模型中的非零系数值的计数。只有在模型能够与数据拟合时增加此计数才有意义。 遗憾的是,虽然这种基于计数的方法看起来很有吸引力,但它会将我们的凸优化问题变为非凸优化问题,即 NP 困难。 (如果您仔细观察,便会发现它与背包问题关联。) 因此,L0 正则化这种想法在实践中并不是一种有效的方法。不过,L1 正则化这种正则化项的作用类似 L0,但它具有凸优化的优势,可有效进行计算。因此,我们可以使用 L1 正则化使模型中很多信息缺乏的系数正好为 0,从而在推理时节省 RAM。L1 和 L2 正则化:L2 和 L1 采用不同的方式降低权重:
L2 会降低 权重2。
L1 会降低 |权重|。
因此,L2 和 L1 具有不同的导数:L2 的导数为: 2 * 权重。
L1 的导数为: k(一个常数,其值与权重无关)。
我们可以将 L2 的导数的作用理解为每次移除权重的x%。如 Zeno 所知,对于任意数字,即使按每次减去 x% 的幅度执行数十亿次减法计算,最后得出的值也绝不会正好为 0。(Zeno 不太熟悉浮点精度限制,它可能会使结果正好为 0。)总而言之,L2 通常不会使权重变为 0。您可以将 L1 的导数的作用理解为每次从权重中减去一个常数。不过,由于减去的是绝对值,L1 在 0 处具有不连续性,这会导致与 0 相交的减法结果变为 0。例如,如果减法使权重从 +0.1 变为 -0.2,L1 便会将权重设为 0。就这样,L1 使权重变为 0 了。L1 正则化 - 减少所有权重的绝对值 - 证明对宽度模型非常有效。请注意,该说明适用于一维模型。L1 正则化往往会减少特征的数量。也就是说,L1 正则化常常会减小模
4000
型的大小。
-------------------------------------------------------
以上整理转载在谷歌出品的机器学习速成课程点击打开链接 侵删!
相关文章推荐
- 机器学习速成课程MLCC(5)--正则化
- Google---机器学习速成课程(一)-基本概念
- Google---机器学习速成课程(3.2)-TF
- Google---机器学习速成课程(3.1)-TF/Pandas
- Google---机器学习速成课程(十二)- 神经网络简介 (Introduction to Neural Networks)
- Andrew NG机器学习课程笔记系列之——机器学习之正则化(Regularization)
- Google---机器学习速成课程(五)-测试集/训练集/验证集Training Test and Validation Sets
- Google---机器学习速成课程(十)- 分类 (Classification)
- Google---机器学习速成课程(七)- 特征组合 (Feature Crosses)
- Google---机器学习速成课程(3.3)-合成特征和离群值
- Google---机器学习速成课程(四)-泛化Generalization
- Google---机器学习速成课程(六)- 表示 (Representation)
- 机器学习速成课程笔记10:使用TF的基本步骤
- Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”
- 机器学习之正则化(Regularization)
- 机器学习中正则化方法简介:L1和L2正则化(regularization)、数据集扩增、dropout
- 机器学习速成课程笔记4:降低损失 (Reducing Loss)
- 机器学习之正则化(Regularization)
- Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”
- 机器学习--正则化(regularization)防止分类器过拟合