【机器学习入门】局部加权回归
2016-07-22 10:18
239 查看
线性回归:拟合参数θ使得∑i(y(i)−θTx(i))2最小,返回θTx作为预测值。
局部加权回归(Local Weighted Regression, LWR)是这样一个模型:
当你需要拟合x时,检查数据集,并且只考虑那些位于x周围的那些点。对x附近的数据子集使用线性回归来拟合出一条直线。然后根据这条直线的预测值作为返回结果。
因此在LWR中,我们需要拟合θ来最小化
∑iw(i)(y(i)−θTx(i))2
其中,w(i)=exp(−(x(i)−x)22).
假设你有一个样本x,如果x距离x(i)非常接近,那么(x(i)−x)2会非常小,则w(x(i)−x)2就接近于1,那么x与x(i)相关性权值接近于1。反之,二者越远相关性权值就越接近于0。
因此,如果我需要确定一个点x,我给近的点赋较高权值,远的点赋低权值。那么它最终比较注重和近的点拟合,而倾向于忽略远的点对模型的贡献。
缺点:每对一个点进行预测,需要重新计算新的模型。
局部加权回归(Local Weighted Regression, LWR)是这样一个模型:
当你需要拟合x时,检查数据集,并且只考虑那些位于x周围的那些点。对x附近的数据子集使用线性回归来拟合出一条直线。然后根据这条直线的预测值作为返回结果。
因此在LWR中,我们需要拟合θ来最小化
∑iw(i)(y(i)−θTx(i))2
其中,w(i)=exp(−(x(i)−x)22).
假设你有一个样本x,如果x距离x(i)非常接近,那么(x(i)−x)2会非常小,则w(x(i)−x)2就接近于1,那么x与x(i)相关性权值接近于1。反之,二者越远相关性权值就越接近于0。
因此,如果我需要确定一个点x,我给近的点赋较高权值,远的点赋低权值。那么它最终比较注重和近的点拟合,而倾向于忽略远的点对模型的贡献。
缺点:每对一个点进行预测,需要重新计算新的模型。
相关文章推荐
- 用Python从零实现贝叶斯分类器的机器学习的教程
- My Machine Learning
- 机器学习---学习首页 3ff0
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- 反向传播(Backpropagation)算法的数学原理
- 关于SVM的那点破事
- 也谈 机器学习到底有没有用 ?
- #ML-SDN
- TensorFlow人工智能引擎入门教程之九 RNN/LSTM循环神经网络长短期记忆网络使用
- TensorFlow人工智能引擎入门教程之十 最强网络 RSNN深度残差网络 平均准确率96-99%
- TensorFlow人工智能引擎入门教程所有目录
- Tensorflow 杂记
- 如何用70行代码实现深度神经网络算法
- 量子计算机编程原理简介 和 机器学习
- 近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)
- 已经证实提高机器学习模型准确率的八大方法
- 初识机器学习算法有哪些?
- 机器学习相关的库和工具
- 10个关于人工智能和机器学习的有趣开源项目
- 机器学习实践中应避免的7种常见错误