【线性模型】对数几率回归（LR）

线性模型

线性模型主要用于回归任务，对属性进行线性组合得到的就是线性模型：

f(x)=wTx+b

线性回归就是使用训练数据学得一个线性模型的过程，过程中要用到误差函数，使误差函数最小化的过程就是学习的过程。线性回归中最常使用的是均方误差（平方损失），此时线性回归就是最小二乘法。

E(w,b)=∑i=1m(yi−wxi−b)2

广义线性模型：当输入x和输出y的尺度不同时，线性模型很难表达出两者之间的关系。此时引入联系函数（link function）g(⋅)，使得

g(y)=wTx+b

此时y在指数尺度上变化，并且有

y=g−1(wTx+b)

对数几率回归

分类任务的输出值是类别信息，无法使用常规线性模型来表达输出信息。常用的方式是将类别标签化，为方便说明，这里考虑二分类任务，用1来表示是，0来表示否。

由于输入数据是连续的，而输出数据是二值的，因此需要建立R⇒{0,1}的映射关系，这里使用单位跃阶函数：

y=⎧⎩⎨1,0.5,0,z>0z=0z<0

来表示这种映射关系（有时把0.5汇入1里边，只保留两种情况），其中z=wTx+b。

这里单位跃阶函数就是广义线性模型里边的g(⋅)，但此时存在一个问题，即函数在0处不连续。此时需要引入新的函数来近似单位跃阶函数，一个常用的函数是对数几率函数：

y=11+e−z

整理上式可以得到：

ln(y1−y)=wTx+b

这里y表示事件发生的概率，1−y表示事件不发生的概率，两者的比值y1−y表示事件发生的几率，上式左侧称为对数几率。此时的模型称为”对数几率回归“（logistic regression 或 logit regression）

求解

可以用极大似然法估计w和b。