逻辑回归中代价函数的选择.凸优化问题

本篇博文主要讲解逻辑回归中的代价函数。逻辑回归中代价函数与线性回归中的代价函数不同。

逻辑回归中，代价函数为:



令


如果将这个式子应用到Logistic Regression中，因为h(x)的表达式不同，sigmoid函数是一个非线性函数。它会变成参数的非凸函数。如下图:



如果把梯度下降应用到这个函数中，我们无法得到全局最小值。只有在如下情况时，我们应用梯度下降才能得到全局最小值：



所以，我们在逻辑回归时，选用的代价函数为:



这个代价函数的图像如下：





这两个函数图象很符合代价函数的惩罚机制。我们在逻辑回归时，大部分人选择这个代价函数，这个代价函数可以合并为以下形式：