机器学习之-预测数值型数据：回归-具体怎么实现及应用

1、局部加权线性回归：

就是给样本集X中样本点x一个权重系数，常用的就是高斯核函数。

2、对于特征比样本点还多的情况怎么处理：

通过缩减系数来“理解”数据：

a）岭回归缩减法；



另：岭回归中的岭是什么：



b）lasso缩减法；

c）前向逐步回归缩减法。



另：逐步线性回归算的实际好处（优点）：

它可以帮助人们理解现有的模型并作出改进，当构建了一个模型后，可以运行该算法找出重要的特征，这样就有可能及时停止对那些不重要特征的收集；如果用于测试，该算法每100次迭代后就可以构建出一个模型，可以使用类似于10折交叉验证的方法比较这些模型，最终选择使误差最小的模型。

3、当应用缩减方法（如逐步线性回归或岭回归）时，模型也就增加了偏差（bias），与此同时却减小了模型的方差。

4、方差与偏差：

方差指的是模型之间的差异，而偏差指的是模型预测值和数据之间的差异。