西瓜书《机器学习》第三章——线性回归理解及公式推导

“线性回归”试图学得一个线性模型以可能准确地预测实值输出标记，即学得 ,使得 .

利用均方误差确定ω和b的过程（即使 最小化），称为线性回归模型的最小二乘“参数估计”；

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。

在线性回归问题中，最小二乘法的目的就是找到一条直线，使得所有样本到这条直线上的欧氏距离之和最小。

求解ω和b使 最小化，首先将 分别对ω和b求导，得：

                                                                 （1）

                                                                         （2）

然后令上述两式等于零，可得ω和b最优解的闭式解，具体推导过程如下：

可得    (3).

再令（1）式为零，并将（3）式代入得：

其中 为x的均值。

更一般的“多元线性回归”及其公式推导，解决办法见另一篇博客。