[机器学习笔记] 什么是最小二乘法？

最小二乘是个翻译过来的名词，英文原文是 Least Squares，其实就是最小平方和。

我第一次听说最小二乘时，很难理解这个东西，不知道二乘是谁和谁相乘，什么样的两个数相乘。如果说最小平方和，我立刻就明白了。不知道大师为什么翻译成最小二乘。

凡事皆有例外，最小二乘法的基本思想就是认为测量中有误差，所有测量的累积误差为：



就是，累积误差=单个误差的平方和。

勒让德在 1805 年发表的论文中对最小二乘法的优良性做了几点说明：

最小二乘使得误差平方和最小，并在各个方程的误差之间建立了一种平衡，从而防止某一个极端误差取得支配地位。

计算中只要求偏导后求解线性方程组，计算过程明确便捷。

最小二乘可以导出算术平均值作为估计值。

在机器学习模型训练时，最小二乘法通过最小化预测误差的平方和求解最佳模型。计算公式如下：



式中ym是模型的预测值，yi是真实值，二者的差是模型的预测误差。