机器学习总结（二）：线性回归、逻辑斯谛回归（LR）、softmax回归、过拟合

1.    什么是回归

是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。

2.    线性回归

代价函数（平方误差代价函数，加1/2是为了方便求导）：



梯度下降法：





(1)  批处理梯度下降法：每次对全部训练数据进行求导后更新参数，能求得最优解；

(2)  增量梯度下降法：每扫描一个训练样本就更新参数，快，训练集很大时选择。

正规方程组求解(The normal equations):直接令代价函数对参数求导为0:



步长（学习率）的选择：过小，迭代次数非常高；过大，越过最小值无法收敛。0.01，0.03，0.1，0.3，1，3，10

特征值归一化：多维特征时，需要确保特征的取值范围在相同的尺度内计算过程才会收敛，常用方法有(1) (X- mean(X))/std(X)；(2) (X - min) / (max - min)。

3.   逻辑斯谛回归（LR）

目的：从训练数据特征学习出一个0/1分类模型。
预测函数：



优点：计算代价不高，易于理解和实现；缺点：容易欠拟合，分类精度不高
公式推导过程如下

观测值的概率：





似然函数求对数：





代价函数:J=-(1/m)*（似然函数的对数）

梯度下降法：



随机梯度下降法：梯度下降法每次都要遍历整个数据集。当特征较大时，复杂度太高。所以每次仅用一个样本点来更新回归系数。在线学习算法。

4.   Softmax回归模型

当多分类问题时，logistic推广为softmax.

假设函数：



代价函数：



为了解决softmax回归的参数冗余带来的数值问题，可以加入权重衰减项。

5.   过拟合和欠拟合如何产生，如何解决？

欠拟合：根本原因是特征维度过少，导致拟合的函数无法满足训练集，误差较大；解决方法：增加特征维度；

过拟合：根本原因是特征维度过大，导致拟合的函数完美的经过训练集，但对新数据的预测结果差。解决方法：（1）减少特征维度；（2）正则化，降低参数值。