对数线性模型：逻辑斯谛回归和最大熵模型

http://blog.csdn.net/pipisorry/article/details/52788947

对数线性模型log linear model

对数线性模型有：最大熵模型和逻辑斯谛回归。

特征和指示特征

对数线性模型的一般形式

[概率图模型原理与技术]
某小皮

对数线性模型的不同形式

因子图

将因子转换到对数空间，成为对数线性模型。
[PGM：无向图模型：马尔可夫网 ：对数线性模型]

最大熵模型

[最大熵模型The Maximum Entropy：模型] [最大熵模型：学习]

逻辑斯谛回归Logistic Regression

多类分类的LR模型生成的推导：（两类分类更简单，直接类比嘛）





lz：这里ak是对数表示的，而给定类条件概率密度p(x|ck)如高斯分布时，ak是通常是线性表示的

，所以才叫对数线性模型吧。
因为ak通常可以使用线性表示，所以多类LR模型使用判别式直接定义成：



lz: 就是把一般形式中的feature特征fi(Di)定义为ak了。

LR模型的导出

lz也不知道LR模型怎么来的，不过lz总结了几种都可以解释的方面：
1 回归模型+logistic函数直接得到
2 最大熵模型的特例，即直接将特征f(x, y)设为x。

3 广义线性模型导出[对数线性模型之一(逻辑回归), 广义线性模型学习总结]
4 生成式模型+高斯形式的类条件概率分布得到

from: http://blog.csdn.net/pipisorry/article/details/52788947
ref: