逻辑斯蒂回归1 -- 逻辑斯蒂回归模型

声明：

1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用。欢迎转载，但请注明出处（即：本帖地址）。

2，因为本人在学习初始时有非常多数学知识都已忘记。所以为了弄懂当中的内容查阅了非常多资料，所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的帖子的地址付到以下。

3，假设有内容错误或不准确欢迎大家指正。

4，假设能帮到你。那真是太好了。

逻辑斯蒂分布

对于连续的随机变量X，X服从逻辑斯蒂分布是指：X具有下列分布函数和密度函数：

分布函数：


（图1）

F(X)= p( X <= x ) = 1 / (1 + exp(-(x-u)/r))

密度函数：



f(x)= F`(x) = exp(-(x-u)/r) / r(1 + exp(-(x-u)/r))2

式中：u为位置參数，r >0为形状參数。

当中分布函数属于逻辑斯蒂函数。其图形为一条S形曲线，该曲线以(u, 1/2)为中心对称，即满足：

F(-x + u ) - 1/2 = -F( x - u ) + 1/2

PS：f(x) 的推导过程：

对F(X) = p( X<= x ) = 1 / (1 + exp(-(x-u)/r))

令a = 1 +exp(-(x-u)/r)。b = -(x-u)/r

∴ dF/da = -(1/ (1 + exp(-(x-u)/r))2)

da/db = exp(-(x-u)/r)

db/dx = -(1/r)

∴ f(x) =dF/dx = (dF/da) * (da/db) * (db/dx) = exp(-(x-u)/r) / r(1 + exp(-(x-u)/r))2

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，使用P(Y|X)表示，形式为參数化的逻辑斯蒂分布。

这里，随机变量X取值为实数。随机变量Y取值为1或0.

终于，我们规定二项逻辑斯蒂回归模型的条件概率分布为：

P(Y=1|X)= exp(w·x + b) / (1 + exp(w·x + b))

P(Y=0|X)= 1 / (1 + exp(w·x + b))

这里X∈Rn是输入。Y∈{0, 1} 是输出，w∈Rn和b∈R是參数，当中w成为权值向量，b成为偏置。

于是二项逻辑斯蒂回归模型就是对输入实例X，求P(Y=1|X) 和P(Y=0|X) ，然后比較其大小。最后将实例分为概率较大的那一类。

有时。为了方便。我们将w和x加以扩充，虽仍记作w，x，但其意义分别为：

w= (w(1), w(2), …, w(n), b)，x = (x(1),x(2), …, x(n), 1)

这时二项逻辑斯蒂回归模型例如以下：

P(Y=1|X)= exp(w·x) / (1 + exp(w·x))

P(Y=0|X)= 1 / (1 + exp(w·x))

事件的几率(odds)

以下。我们再学习一个定义：事件的几率(odds)

事件的几率 = 事件发生的概率/事件不发生的概率

即：

odds= P / (1 - p)

在此基础上。odds的对数几率即其logit函数就是：

logit(p) = log(p / (1 - p))

于是，二项逻辑斯蒂回归模型而言，X为Y=1的几率就是：



上式说明了什么呢？

上式说明了：在逻辑斯蒂回归模型中，输出Y=1的对数几率是输入X的线性函数。

换句话说即：输出Y=1(输出指定类别)的对数几率是由输入X的线性函数表示的模型。

即：

逻辑斯蒂回归模型就是输出Y=1(输出指定类别)的对数几率是由输入X的线性函数表示的模型。

PS：

∵ 逻辑斯蒂模型满足逻辑斯蒂分布。

∴ 由图1可知：

对P(Y=1|X) =exp(w·x + b) / (1 + exp(w·x + b))

w·x的值越接近 +∞，P(Y=1|X) 越接近1

w·x的值越接近 -∞，P(Y=1|X) 越接近0

多项逻辑斯蒂回归

对于多项逻辑斯蒂回归。其模型为：