逻辑回归模型（一）——数学模型

学习李航的《统计学习算法》,今天周三，这周任务之一完成逻辑回归模型的博文记录。
逻辑回归（Logistic Regression）属于分类方法（classification）。逻辑回归与最大熵模型（maximum entropy）都属于对苏线性模型。

【逻辑回归模型】

【逻辑分布】

X连续随机变量，服从逻辑分布是指：
                                                    分布函数    

                         （1.1）                                   密度函数   

                         （1.2）         




如图所示，F（x）为sigmoid函数，(即S形函数)，以

为中心对称，即

【二项逻辑回归模型】

二项逻辑回归模型（binomial logistic regres
d536
sion），一种分类模型，由条件概率分布

表示。
其中，Y取值为0,1；X取值为实数。
条件概率分布如下：

                        （1.3）


                        （1.4）
其中，

为输入。

为输出。w为权值向量，b为偏置。基本分类方法为，按照（1.3）（1.4）分别计算出输入对应的

，

的概率值，将x分类到概率较大的一方。【注】为方便书写和计算，将权值向量和输入向量加以扩充，仍记作w,x，即




相应的模型变为：




时间发生的几率（odds）为事件发生的概率与事件没有发生的概率的比值。假设发生概率为p，没有发生为1-p，则几率为  

.对数几率（log odds）或logit函数为 

对于逻辑回归，

。演算如下图: 

 

【模型参数估计】

给定训练数据集 

,
设 

  ,  

 
似然函数 ： 

对数似然函数:                     

对L（w）求极大值，得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。假设得到的w的极大似然估计值为

,则得到逻辑回归模型为