生成模型(generative model)与判别模型(discriminate)的联系及区别

生成模型与判别模型的联系及区别

监督学习——学习一个模型

模型的一般形式

决策函数 Y=f(X)

条件概率分布：P(Y|X)

生成方法

由数据学习联合概率分布P(Y,X)作为预测的模型，即生成模型P(Y|X)=P(Y,X)P(X)

模型表示了给定输入X,产生输出Y的生成关系

examples

朴素贝叶斯、隐马尔科夫模型

判别方法

由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测模型

比较关心：给定输入X,输出什么样的Y

examples

感知机、决策树、logistic regression，最大熵，SVM，Adaboost,条件随机场

联系与区别

生成学习法

还原出联合概率分布P(Y,X)

学习收敛速度快

样本容量增加时，模型快速收敛于真实的model

判别方法

直接学习的是Y=f(X)或P(Y|X)

可以对数据进行各种程度上的抽象

定义特征并使用特征可以简化学习问题