机器学习2——分类和逻辑回归Classification and logistic regression(牛顿法待研究)

不同于回归问题，分类问题是指预测值y只有几个离散的值，这里只讲binary classification 二分类问题，即y只取0，1。

Logistic regression

1 why logistic fuction？为什么选择sigmoid函数？

(1) 如何将标签映射到0，1？

sigmoid函数及图如下：

函数：


图：



(2) 所以要将标签映射到0，1。我们的假设函数可以设为：



这样就可以将标签映射到0，1了。

2 这里损失函数怎么求，以及怎么更新模型的参数θ？

1 参数为θ时，输入为x时，模型的输出是多少？

假设：



那么上面模型的输出可以统一写作：

2 参数为θ，样本数据为（X,Y）时，关于θ的最大似然函数可以记作：

3 怎样使似然函数最大呢？

同样的，利用梯度下降算法，利用log（似然函数）对模型参数θ的梯度来更新θ，即：



这里是加号了。

另外还可以用牛顿法来更新，待研究。

4 怎么求log（似然函数）及其对模型参数θ的梯度？

log（似然函数）：



求导：

5 即模型参数θ的迭代更新计算方式为：