机器学习-logistic Regression（逻辑回归）

logistic Regression-逻辑回归

线性边界方程



（θ为特征值参数，x为自变量）

公式意义：计算某个事件发生的可能性，可以把跟这个事件相关的所有特征加权求和，可以看做是类别分界线（最佳拟合线），着重理解的方程。

逻辑函数（Sigmoid函数）



函数图像：



P(t)的值域为[0,1]；利用此可以计算事件发生的概率，以便归类



ps：发生概率小于0.5时，属于类别0，反之属于类别1

，也就是说在整个过程中我们就是要求出回归系数 的值，则可以求出P(s)进而进行分类操作。

注意：有些朋友可能会说，要是我特征取值的区间[假设值[ [0-100]和[100-200] ]，的怎么办，将函数向右平移100个单位就可以了，高中知识了。

具体求出回归系数

的过程：

首先我们先理解一个损失函数(Loss Function)

我们可以知道，损失函数用户衡量预测值与实际值的偏离程度，如果预测完全正确，则损失函数的数值为0，反之表示该预测结果的糟糕程度，这里我只写了常用于线性回归的平方损失函数（Square Loss）



PS: 是第i个真实值， 为第i个预测值

依次将边界方程作为参数代入逻辑函数，将得到的值代入平方损失函数，得到



也就是说我们只要求出最佳参数

的值，即可找到最佳拟合曲线，也就是使L的值最小

求曲线

的方法：

梯度下降法：

在stanford课程中的实例图，如下



上图是一个函数曲线，也可以看做是一座山。假设我们在随机的一个点，我们要找出一条以最快速度到达最低点，实现方法就是取一个步长a，在每一点我们进行微分（通俗来说找到最大下降斜率），使得每一步下降的方向总是局部最优的，



ps：沿各个方向的最大微分的向量表示

迭代公式



ps：更新的

的值的公式

通俗来说：就是我们想最快下这座山，在没有地图的情况下，我们总是沿着坡度最快的方向走（不考虑其他的情况），梯度下降法的做法是每走一步，看一步，但是达到的是局部最优点。利用这个我们就可以求出平方损失函数的 ，然后达到分类目的。

优化点：步长，迭代次数

参考：http://www.codelast.com/%E5%8E%9F%E5%88%9B-%E7%94%A8%E4%BA%BA%E8%AF%9D%E8%A7%A3%E9%87%8A%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84logistic-regression%EF%BC%88%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92%EF%BC%89/?utm_source=tuicool&utm_medium=referral

首先感谢上面这位博客的作者，在理解该算法中得到了该篇博客很多的思路，要是在边界方程上面有不理解的地方，可以去看看这位的博客，真的很棒。