第1章 统计学习方法概论——第7节 生成模型与判决模型

关于统计学习方法的知识，参考书《统计学习方法》，李航著，清华大学出版社。

第一章 统计学习方法概论

第7节 生成模型与判决模型

监督学习学到的模型又可以划分为生成模型（generative model）和判决模型（discriminative model）。

一、生成模型：

生成方法由数据学习联合概率分布P(X, Y)，然后求出条件概率分布

P(Y|X) = P(X, Y) / P(X)

作为学到的模型，即生成模型。

之所以称为生成模型，是因为模型表示了给定输入X产生输出Y的生成关系。

典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型。

二、判决模型：

判决方法由数据直接学习得到决策函数f(X)或条件概率分布P(Y|X)作为学到的模型，叫做判决模型。

典型的判决模型有：k近邻法、感知机、决策树、逻辑回归、最大熵模型、支持向量机、adaboost和条件随机场等。

三、二者优缺点：

生成模型：

1、可还原出联合概率分布，但判决模型不可以。

2、学习收敛的速度更快。当样本容量增加时，模型更快地收敛于真实模型。

3、当存在隐变量时，仍可以用生成方法，而判决方法此时不可用。

判决模型：

1、直接学习出条件概率或决策函数，直接面对预测，往往学习的准确率更高。

2、由于直接学习P(Y|X)或f(X)，可对数据进行各种程度上的抽象，即便于定义并使用特征，从而简化学习问题。