逻辑斯蒂回归（二项和多项）

逻辑斯蒂回归（二项和多项）

1. 逻辑斯蒂分布定义

设X是连续随机变量，则X服从逻辑斯蒂分布，是指X具有下列分布函数和密度函数：

F(x)=P(X<=x)=11+e−(x−μ)/γ

f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2

其中μ是位置参数，γ>0是形状参数

F(x)图像如下：

1. 二项逻辑斯蒂回归模型

1.1

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布P（Y|X）表示。这里X取值为实数，Y取0或者1.概率模型如下：

P(Y=1|x)=exp(ω∗x+b)1+exp(ω∗x+b)

P(Y=0|x)=1−P(Y=1|x)=1)1+exp(ω∗x+b)

1.2

对数几率：如果事件发生的概率是p，那么该事件的几率是p1−p，改事件的对数几率是：

logit(p)=logp1−p

对二项逻辑斯蒂回归而言，logit(p)=logP(Y=1|x)1−P(Y=1|x)=ω∗x+b

1.3

模型参数估计，极大似然法

似然函数：L(ω,b)=ΠNi=1p(yi|xi;ω,b) ——即在参数β=(ω,b)的条件下，样本xi属于yi的概率

其中p(yi|xi;ω,b)=yi∗p(y=1|xi;β)+(1−yi)∗p(y=0|xi;β)

取对数：logL(ω,b)=ΣNi=1logp(yi|xi;ω,b)

采用梯度下降或牛顿法求解

2. 多项逻辑斯蒂回归模型

概率模型

P(Y=k|x)=exp(ωK∗x+b)1+ΣK−1i=1exp(ωk∗x+b),k=1,2,...,K−1

P(Y=K|x)=11+ΣK−1i=1exp(ωk∗x+b)

1.原理：分类的思想其实与逻辑回归分类(默认是指二分类，binary classification)很相似——构造K个二分类LR假设函数即可

这里其实是“one VS all“的思想：对每一个类，有针对性地训练一个LR分类器。当输入一个新的样本，预测该样本为分类器得分最高的那一类即可



2.如下图，共有三类。每次训练某一类的时候，将其他所有类归位另一类进行训练，得到一个二分类的LR



3.参数估计

二项逻辑斯蒂回归的参数方法可以推广到多项