逻辑斯谛回归正则化 regularized logistic regression

逻辑斯谛回归正则化 regularized logistic regression

关于logistic回归的基础知识请参见我的前两篇博客：逻辑回归（代价函数，梯度下降） logistic regression--cost function and gradient descent  和 逻辑回归之决策边界
logistic regression -- decision boundary  。logistic回归存在过拟合问题，至于什么是过拟合，参见上篇博客http://blog.csdn.net/u012328159/article/details/51089365。直接来举个例子说明logistic回归中的过拟合问题（图片来源：Ng
machine learning课）:



上图左是欠拟合，可以看出logistic回归模型没有很好地拟合训练数据，训练误差很大。上图中是一个比较好的分类模型。上图右就是一个过拟合现象，这个复杂的分类模型可以准确无误的把训练数据的每个样本正确分类，但是其泛化能力很差。
同样logistic回归通过正则化（regularization）惩罚参数

，防止其取得过大，可以避免过拟合问题（overfitting）。首先看代价函数（cost function）：



其中红色框起来的那一项为正则项。
再来看其梯度下降（gradient descent）：



关于logistic回归的正则化就介绍到这。