机器学习 之 逻辑回归算法

转自：http://www.cnblogs.com/biyeymyhjob/archive/2012/07/18/2595410.html

初步接触

LR算法，（Logistic Regression Classifier）。大致的算法过程：

在训练集中训练一组权值参数，在测试样本集中这组权值参数与测试数据特征线性加和的方式求出一个值Z。再按照sigmoid函数形式分类。

具体情况如下：

谓LR分类器(Logistic Regression Classifier)，并没有什么神秘的。在分类的情形下，经过学习之后的LR分类器其实就是一组权值w0,w1,…,wm.

当测试样本集中的测试数据来到时，这一组权值按照与测试数据线性加和的方式，求出一个z值：

z = w0+w1*x1+w2*x2+…+wm*xm。 ① （其中x1,x2,…,xm是某样本数据的各个特征，维度为m）

之后按照sigmoid函数的形式求出：

σ(z) = 1 / (1+exp(z)) 。②

由于sigmoid函数的定义域是(-INF, +INF),而值域为(0, 1)。因此最基本的LR分类器适合于对两类目标进行分类。

那么LR分类器的这一组权值w0,w1,…,wm是如何求得的呢？这就需要涉及到极大似然估计MLE和优化算法的概念了。

我们将sigmoid函数看成样本数据的概率密度函数，每一个样本点，都可以通过上述的公式①和②计算出其概率密度