【机器学习基础】Least squares最小二乘法

最小二乘法是求线性回归问题最基础的方法之一，最近花了一点时间深入研究了一下，然后简单的整理一下思路。

先从一个简单的例子开始，对于点A（1，1），B（2，2），C（3,2）

拟合出一条直线 y = C + D x



首先我们把这三个点带入直线方程，写成矩阵的形式。



现在得到一个矩阵方程





通过矩阵我们得到了两个方程，两个变量对应两个方程组，这样我们可以分别解出这两个方程组，对于斜率D，我们可以得到



通过观察，我们继续对D进行变形，



这样我们就得到了求解斜率的公式。同理，我们也可以得到C的公式。

本来推到这里已经结束了，但是如果仔细思考一下，会发现哪里有些不对劲，对于给定的直线方程，这三个点都没办法在这条直线上，那我们为什么还要将点的坐标带入方程里去呢？

下面是Least Squares的核心思想，我们首先引入均方差（Square Loss）这个概念。



这里R2是关于C,D 的凸函数，所以当它关于C,D 的导数均为0时，得到C,D的最优解。



这时我们可以发现这里得到的两个方程正是之前矩阵变换得到的两个方程，即这两个方程就是求最优解的方程。



我们可以直接通过方程来得到所求直线方程的两个参数。

参考文档：Least Squares Fitting

参考视频：MIT线性代数相关课程