您的位置:首页 > 其它

【机器学习入门】局部加权回归

2016-07-22 10:18 239 查看
线性回归:拟合参数θ使得∑i(y(i)−θTx(i))2最小,返回θTx作为预测值。

局部加权回归(Local Weighted Regression, LWR)是这样一个模型:

当你需要拟合x时,检查数据集,并且只考虑那些位于x周围的那些点。对x附近的数据子集使用线性回归来拟合出一条直线。然后根据这条直线的预测值作为返回结果。

因此在LWR中,我们需要拟合θ来最小化

∑iw(i)(y(i)−θTx(i))2

其中,w(i)=exp(−(x(i)−x)22).

假设你有一个样本x,如果x距离x(i)非常接近,那么(x(i)−x)2会非常小,则w(x(i)−x)2就接近于1,那么x与x(i)相关性权值接近于1。反之,二者越远相关性权值就越接近于0。

因此,如果我需要确定一个点x,我给近的点赋较高权值,远的点赋低权值。那么它最终比较注重和近的点拟合,而倾向于忽略远的点对模型的贡献。

缺点:每对一个点进行预测,需要重新计算新的模型。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  机器学习