机器学习之&&Andrew Ng课程复习---Regularization

课程背景：

训练集样本量小，但特征却比较多的时候，我们很容易产生模型过于复杂的过拟合现象，(过拟合：模型较为复杂很精确的拟合了训练集，却对测试集的数据不能做出有效的预测)，为了解决这种现象，我们有以下2种方案：

1.Reduce the Number of Feature(1.Manually select which feature to keep;2.model selection algorithm)(以后的博客会更新)

2.Regularization(1.keep all the feature,but reduce magnitude / values of parameters θj)。

一、Cost Function(Regularization)



上式的意思：我们给我们要优化的对象(代价函数)加上俩个惩罚项，这样要使得代价函数最优，必须θ3 和θ4 约等于0，从而简化了模型的规模，避免了过拟合。

2.Regularization



参数越少，模型越光滑(简单)，越不容易过拟合。

我们来看一个例子：



但是我们怎么来确定惩罚哪个参数呢？所以我们对代价函数做以下修改



(我们针对所有参数，让每一个参数尽量小)

λ称为正规化参数，目的就是控制在俩个不同目标中的平衡，第一个目标：是假设更好地拟合训练数据；第二个目标：保持参数值较小。从而保持假设的形式相对简单，来避免过拟合，但是λ过大会造成欠拟合，这时候相当于除去θ0其他都等于0，以我的理解为：正规化就是，代价函数加上参数影响。

下一篇博客，我们可以一起看看正规化在线性回归和LR中的应用~

See You！