机器学习思想

机器学习是一个模型，一个损失函数，一个优化算法。

线性回归中，前提假设是y服从正态分布，损失函数是最小二乘法，而在逻辑回归中，y服从二项分布，损失函数是log对数损失函数。

损失函数：

衡量模型的预测值和真实值之间不一致程度；

平方损失-最小二乘法-线性回归：OLS将问题转化为凸优化问题，假设样本和噪声都服从高斯分布，中心极限定理，极大似然估计，最优拟合直线应该是各点到回归直线的距离之和最小的直线，即平方和最小。

log对数损失函数-逻辑回归：伯努利实验，二项分布，似然函数，取对数求极值。单调递增。

指数损失函数-Adaboost，前向分步加法算法

Hinge损失函数-SVM