【斯坦福---机器学习】复习笔记之欠拟合和过拟合的概念

本讲大纲：

1.局部加权线性回归（locally weighted linear regression）

给定一个数据集，根据x预测y.



最左边的函数为

，并不能很好的拟合数据；

中间的加了一个额外的特性

，函数为

，稍微更好地拟合了数据；

似乎我们增加越多的特性，拟合程度越好；但是增加太多的特性是很危险的，最右边的图是一个五阶的多项式

，虽然很好的拟合了给定的数据集，但是这个并不是一个很好的预测函数。

欠拟合（underfitting）：很明显有一些没有被模型捕获的结构，比如说最左边的图.

过拟合(overfitting)：最右边的就是一个过拟合的例子.

因此说，特性的选择对于学习算法的性能来说是很重要的！！！

在原先的线性回归算法中，对查询点x做预测，我们：



而局部加权线性回归算法是：



其中，

是非负值的权重。

对权重的一个标准选择是：



当

很小时，权重接近于1；当

很大时，权重很小，接近于0. 因此，

的选择是训练集中越接近查询点的样本权重越大. 参数

控制着样本集离查询点距离权重下降的快慢，称为波长参数.

非参数化学习算法（non-parametric learning algorithm）：

为了更好的展现假设，我们需要考虑的东西的数量随着训练集而线性增长（局部权重加权回归算法是我们学习的非参数学习算法的第一个例子）.

参数化学习算法（parametric learning algorithm）:

拟合数据只需要固定的、有限的参数（线性回归算法）.

2.概率解释（probabilistic interpretation）

在回归问题中，为什么选择最小二乘法，是否合理？

假设目标变量和输入的关系如下：




表示误差项，不管是建模过程中没有考虑进来的因素，还是一些随机的因素；

根据高斯分布（Gaussian distribution）或者叫做正态分布(Normal distribution),再假设

是IID(independently and identically distributed), 也就是说，



，



等价于：



注意，

的意思是在参数

的情况下，给定x，y的分布，

并不是随机变量.

似然函数（likelihood function）:



注意到误差项的独立假设，对所有给定的X,有：



根据最大似然估计原则，我们应该最大化

.

为了计算方便，对极大似然函数取对数，



问题转化为最小化

这也就是我们最初的最小二乘法的代价函数.

注意到我们的最终结果与

无关.

3.逻辑回归（logistic regression）

分类（classification）：也类似于回归(regression)问题，只是y的取值是一小部分的离散值.这边我们暂时先考虑二元的分类问题(binary classification，也就是说y只有两个取值,0和1.

为了了解分类问题，先忽略y是一个离散值，使用线性回归算法来预测y. 但是很容易发现的问题是y有可能出现大于1或者小于0的值，因此我们改变假设函数为：



称为逻辑函数(logistic function)或者s型函数（sigmoid function）.

下面是g(z)的图像：



logistic 函数一个有用的求导特性：



假设：



等价于：


假设m个训练样本是单独产生的，于是



取对数得：



类似于在线性回归中的求导，可以使用梯度上升(gradient ascent)(因为是正号，因此是最大化不是最小化).



考虑一个样本，根据梯度上升原则求偏导：



因此

4.感知器算法（the perceptron learning algorithm）

如果需要改变logistic回归方法使得输出是0或1，定义临界函数（threshold function）:



令

，但是用这个函数定义g，因此：



这就是感知器学习算法.