机器学习---逻辑回归

1.假设



2.sigmoid函数:



3.假设的含义：



4.性质：



5.找一个凸损失函数



6.可由最大似然估计推导出

单个样本正确预测的概率为



只是3两个式子合并在一起的表示方法

整个样本空间的概率分布为



取对数展开得，



作为损失函数，并且最小化它，则应改写为5式。

7.求解方法

最原始的方法，梯度下降法

先求导，并带入sigmoid表达式得



之后，参数更新为：



终止条件：

目前指定迭代次数。后续会谈到更多判断收敛和确定迭代终点的方法。

8.高级方法

共轭梯度

BFGS,L-BFGS