Nani_xiao的机器学习与总结：Andrew Ng.机器学习（四） ：牛顿方法

重温概率论的基础

批梯度上升规则和随机梯度上升规则 拟合出logistic回归模型。

利用牛顿方法来进行模型拟合。

牛顿法也叫切线法。







为了使牛顿算法有效，需要将f满足某些条件，这些条件相当复杂。通常如何初始化x不是个大问题，一般讲f(x) = 0,这些算法通常不会考虑收敛性的问题，一般，这些算法都是收敛的，但收敛速度会有很大差别。牛顿算法是一个收敛速度很快的算法，收敛速度可以理解为二次收敛。牛顿方法的每一次迭代，都会使你正在逼近解的有效数字的数目加倍，不考虑常量因子。

其他知识点：Hessian矩阵

基于最小二乘的线性回归，Logistic回归都属于广义线性回归

指数分布族  伯努利分布、高斯分布

Logistic回归