生成模型和判别模型

生成模型和判别模型

在学习machine learning中遇到了多种分类回归算，有的说是生成算法，有的说是判别算法，当时有点晕，现在总结如下。

实际上两者都是机器学习当中模型建立的两种方式：generative approach 和 discriminative approach。前者一般需要更大的数据量，如果数据量不是很大，可能最终建立的模型并不具有很大的说服力。

我们假设$X$为特征，$Y$为标签。

一、生成模型

是要学习总体的数据的量和概率分布$P(X,Y)$,predict当中使用$P(Y|X)=\frac{P(X,Y)}{P(X)}$，从这里可以看出了联合概率分布还需要$P(X)$

example: 朴素贝叶斯模型，HMM

特点：需要大量的训练数据；收敛速度更快，如果数据量很大时；如果存在隐变量，类似HMM当中，生成模型仍然使用

二、判别模型

通过各种策略直接学习条件概率分布$P(Y|X)$,或者判决函数$F(X)$

example: SVM，CRF,神经网络，感知机，决策树，随机森林，K近邻等等

特点：在数据量较小的情况是仍然使用，尤其SVM实际的训练只需要所谓的支持向量样本点即可；这种方法往往学习的准确率更高

参考

[1] http://www.cnblogs.com/kaituorensheng/p/3379170.html