Chapeter 8 Regularization（正则化）

课程笔记总览传送门：https://www.geek-share.com/detail/2758707282.html

目录

Chapeter 8 Regularization（正则化）

8.1 Overfiitting（过拟合）

8.2 Cost Function（代价函数）

8.3 Regularized Linear Regression（线性回归的正则化）

8.4 Regularized Logistic Regression（逻辑回归的正则化）

8.1 Overfiitting（过拟合）

 

先举例子：

图 1-1 低拟合、正好、过拟合

 

左图，拟合度较低——欠拟合、高偏差；中图，拟合度正好；右图，拟合度过高——过拟合、高方差。

过拟合时代价函数   的值约等于0，这在训练集很好，然而建模的目的是预测训练集以外的东西，可以想象过拟合的模型无法胜任。

什么情况会出现过拟合呢？在变量过多，数据量不足的情况下，有限的数据无法限制模型的拟合度，就出现了过拟合。

解决过拟合的方法：

——减少变量，优点是简单粗暴，缺点是会删去真正有相关性的变量；

——模型选择算法，会自动选择变量；

——正则化（下一节）。

8.2 Cost Function（代价函数）

图 2-1 正则化的代价函数

以4个变量的线性回归举例，可以看到为了防止过拟合+减去变量，在代价函数中加了额外的两项以使   、  的值尽可能小。

这就是线性回归的正则化。

 

更一般地：

图 2-2 正则化

把所有变量的平方都乘以系数   加入代价函数   ，以控制变量的大小来防止过拟合。这个过程就是线性回归的正则化；

一般来说，不加   。

需要注意的是，  不能过大，这样会导致所有参数都约等于0。

8.3 Regularized Linear Regression（线性回归的正则化）

图 3-1 线性回归的正则化

公式和目的。

要达成目的需要代价方程来得到最小的代价，在线性回归里，方式是梯度下降和正规方程。来看一下引入正则化后有什么变化。

梯度下降：

图 3-2 正则化的梯度下降

 

正规方程：

图 3-1 正则化的正规方程

当   > 0时，一定可逆（行列式不为0?）。

8.4 Regularized Logistic Regression（逻辑回归的正则化）

和线性回归一样，逻辑回归要达成目的也有两种方法：梯度下降和高级算法。

梯度下降：

图 4-1 正则化的梯度下降

 

高级算法：

图 4-2 正则化的高级算法

高级算法的数学原理可能比较复杂，了解实现原理是第一步。