生成式模型和判别式模型
2016-06-16 10:23
232 查看
对于输入x,类别标签y:
生成式模型:估计它们的联合概率分布P(x,y),生成数据的分布。
特点:寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。
判别式模型:判别式模型估计条件概率分布P(y|x),判别数据的输出量。
特点:对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度。
二者联系:由产生式模型可以得到判别式模型,但由判别式模型得不到产生式模型。
————————————————————————————————————————————————————
生成式模型 判别式模型
朴素贝叶斯(NB) 线性回归(Linear
Regression)
逻辑斯蒂回归(Logistic
Regression)
混合高斯模型 神经网络(NN)
隐马尔科夫模型(HMM) 支持向量机(SVM)
贝叶斯网络 高斯过程(Gaussian Process)
Sigmoid Belief Networks 条件随机场(CRF)
马尔科夫随机场(Markov Random Fields) CART(Classification and Regression Tree)
深度信念网络(DBN) 线性判别分析(Linear
Discriminant Analysis)
主题生成模型(Latent Dirichlet Allocation)
提升模型(Boosting)
K近邻(KNN)
————————————————————————————————————————————————————
在实际分类问题中,判别模型可以直接用来判断特征的类别情况,而生成模型,需要加上贝叶斯法则,然后应用到分类中。但是,生成模型的概率分布可以还有其他应用,就是说生成模型更一般更普适。不过判别模型更直接,更简单。两种方法目前交叉较多。
附李航博士《统计学习方法》总结
生成式模型:估计它们的联合概率分布P(x,y),生成数据的分布。
特点:寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。
判别式模型:判别式模型估计条件概率分布P(y|x),判别数据的输出量。
特点:对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度。
二者联系:由产生式模型可以得到判别式模型,但由判别式模型得不到产生式模型。
————————————————————————————————————————————————————
生成式模型 判别式模型
朴素贝叶斯(NB) 线性回归(Linear
Regression)
逻辑斯蒂回归(Logistic
Regression)
混合高斯模型 神经网络(NN)
隐马尔科夫模型(HMM) 支持向量机(SVM)
贝叶斯网络 高斯过程(Gaussian Process)
Sigmoid Belief Networks 条件随机场(CRF)
马尔科夫随机场(Markov Random Fields) CART(Classification and Regression Tree)
深度信念网络(DBN) 线性判别分析(Linear
Discriminant Analysis)
主题生成模型(Latent Dirichlet Allocation)
提升模型(Boosting)
K近邻(KNN)
————————————————————————————————————————————————————
在实际分类问题中,判别模型可以直接用来判断特征的类别情况,而生成模型,需要加上贝叶斯法则,然后应用到分类中。但是,生成模型的概率分布可以还有其他应用,就是说生成模型更一般更普适。不过判别模型更直接,更简单。两种方法目前交叉较多。
附李航博士《统计学习方法》总结
相关文章推荐
- 用Python从零实现贝叶斯分类器的机器学习的教程
- My Machine Learning
- 机器学习---学习首页 3ff0
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- 反向传播(Backpropagation)算法的数学原理
- 关于SVM的那点破事
- 也谈 机器学习到底有没有用 ?
- TensorFlow人工智能引擎入门教程之九 RNN/LSTM循环神经网络长短期记忆网络使用
- TensorFlow人工智能引擎入门教程之十 最强网络 RSNN深度残差网络 平均准确率96-99%
- TensorFlow人工智能引擎入门教程所有目录
- 如何用70行代码实现深度神经网络算法
- 量子计算机编程原理简介 和 机器学习
- 近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)
- 已经证实提高机器学习模型准确率的八大方法
- 初识机器学习算法有哪些?
- 机器学习相关的库和工具
- 10个关于人工智能和机器学习的有趣开源项目
- 机器学习实践中应避免的7种常见错误
- 机器学习常见的算法面试题总结
- 不平衡数据处理技术——RUSBoost