分类-逻辑斯谛回归

1.简介

逻辑斯谛回归, Logistic Regression. 一个线性二分类算法.

名字中有

Logistic

, 但跟逻辑没什么关系, 名字中有

Regression

, 但更是一个分类算法. 所以没有像很多书中那样叫做逻辑回归, 而叫逻辑斯谛回归.

Logistic Regression 这个名字之所以被这么叫, it was given for historical reasons.

coursera中machine learning课程有一节讲到逻辑斯谛回归, 课程地址

2. Logistic Distribution

定义:

设X为连续随机变量, 若它具有 式(1) 的分布函数, 则成 X 服从逻辑斯蒂分布.

F(x)=P(X≤x)=11+e−x(1)



图1 Standard logistic sigmoid function 值域为[0,1]

形状是S型, 所以也称 sigmoid 曲线, 记为σ(x)=F(x).

3. 二分类模型

设, 二分类问题中的随机变量 X∈Rn,Y∈{0,1}.

则定义

P(Y=1|X=x)=σ(wTx)P(Y=0|X=x)=1−P(Y=1|X=x)

即 P(Y=y|X=x)=[σ(wTx)]y×[1−σ(wTx)]1−y

为二分类逻辑斯蒂回归模型, 其中参数w∈Rn.

可以对比一下线性回归, 逻辑斯蒂回归只是将线性回归用在了逻辑斯蒂分布上, 嘿嘿.

4.目标函数

似然函数为:

L(w)=∏i=1NP(yi|xi)

对数似然函数为:

L(w)=log∏i=1NP(yi|xi)=∑i=1NlogP(yi|xi)=∑i=1Nlog{[σ(wTxi)]yi×[1−σ(wTxi)]1−yi}=∑i=1N{yilogσ(wTxi)+(1−yi)log[1−σ(wTxi)]}

5.求解

这样, 问题就变成了以对数似然函数为目标函数的最优化问题, 逻辑斯蒂回归学习中通常采用的方法是 梯度下降法及拟牛顿法.