判别式模型与生成式模型
2014-02-27 11:39
369 查看
判别式模型
该模型主要对p(y|x)建模,通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常,判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的,而且难以被扩展成无监督的。
常见的判别式模型有:
Logistic regression
Linear discriminant analysis
Support vector machines
Boosting
Conditional random fields
Linear regression
Neural networks
生成式模型
该模型对观察序列的联合概率分布p(x,y)建模,在获取联合概率分布之后,可以通过贝叶斯公式得到条件概率分布。生成式模型所带的信息要比判别式模型更丰富。除此之外,生成式模型较为容易的实现增量学习。
常见的生成式模型有:
Gaussian mixture model and other types of mixture model
Hidden Markov model
Naive Bayes
AODE
Latent Dirichlet allocation
Restricted Boltzmann Machine
由上可知,判别模型与生成模型的最重要的不同是,训练时的目标不同,判别模型主要优化条件概率分布,使得x,y更加对应,在分类中就是更可分。而生成模型主要是优化训练数据的联合分布概率。而同时,生成模型可以通过贝叶斯得到判别模型,但判别模型无法得到生成模型。
该模型主要对p(y|x)建模,通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常,判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的,而且难以被扩展成无监督的。
常见的判别式模型有:
Logistic regression
Linear discriminant analysis
Support vector machines
Boosting
Conditional random fields
Linear regression
Neural networks
生成式模型
该模型对观察序列的联合概率分布p(x,y)建模,在获取联合概率分布之后,可以通过贝叶斯公式得到条件概率分布。生成式模型所带的信息要比判别式模型更丰富。除此之外,生成式模型较为容易的实现增量学习。
常见的生成式模型有:
Gaussian mixture model and other types of mixture model
Hidden Markov model
Naive Bayes
AODE
Latent Dirichlet allocation
Restricted Boltzmann Machine
由上可知,判别模型与生成模型的最重要的不同是,训练时的目标不同,判别模型主要优化条件概率分布,使得x,y更加对应,在分类中就是更可分。而生成模型主要是优化训练数据的联合分布概率。而同时,生成模型可以通过贝叶斯得到判别模型,但判别模型无法得到生成模型。
相关文章推荐
- android eclipse的xml字体大小
- Could not load the Tomcat server configuration at
- 面向对象基本特征----封装继承和多态
- win 04 大小端字节序的转换和字符串的处理
- 获取联通、电信、任意ISP ip段
- AsyncTask再度学习
- 无题
- SelectNodes的用法
- 更改默认的mysql数据库目录
- mahout数据源
- Mac系统自带CURL的使用方法
- 不要继续过度复习的伤害——写给考研学生
- 关于iOS程序间通信
- 查看centos物理配置
- 女孩网上应聘高薪模特 被骗拍裸照后遭性侵
- iOS开发之Objective-C:类、对象和方法
- JAVA并发(三)
- mysql 数据库连接参数说明
- 游标的简单用法
- java继承静态变量与静态方法