机器学习笔记（一）-局部加权回归（Locally weighted regression）LWR

在网上通过看斯坦福大学的机器学习课程，觉得讲的非常好。同时，为了加强自己的记忆，决定将自己学到的东西和一些理解记录下来，希望有所收获。废话不多说，直接开始笔记：

局部加权回归（locally weighted regression）LWR

我们在现实生活中的模型，大多数情况下不能够用线性模型去拟合。如果采用线性模型去拟合就会产生欠拟合（under-fitting）,如下图的分布（专业的画图工具比较复杂，就随便画一下吧）：

我们可以看到，这并不是我们想要的结果，当有新的x的时候，我们的预测也会跟实际值差很远。那怎么办呢？虽然我们不能再全局用线性模型来进行拟合，但是我们可以在一个局部邻域里面来用直线拟合。例如下图所示：



显然通过局部线性回归得到的y值要牢靠的多。

由于是线性回归，因此我们可以有如下假设：



（吐槽一下，编辑公式真麻烦，还是手写吧）

为了达到在邻域内实现线性拟合，则x附件的值的权重更大，因此我们的目标是：



此时，加权的思想就表现在权重wi上，通过函数，我们可以看到当xi距离x越近，wi的值越接近于1，则在最终的线性模型中起到的影响越大，反之，wi越接近于0，产生的作用越小。

这个模型相对比较简单，但是，有明显的缺陷。

1.当数据量比较大的时候，计算量比较大，代价较大。

2.每次进来新的x时，需要重新根据训练数据得到局部加权回归模型。

3。不一定能够解决under-fitting的问题