斯坦福机器学习【5】生成学习算法(高斯判别与朴素贝叶斯)
2017-12-21 11:06
330 查看
生成模型与判别模型的区别:
生成模型:生出数据分布的模型, 在处理过程中得到数据的统计信息 p(x|y)
判别模型:判断数据分类的模型; 得到数据的分类, p(y|x)
高斯判别分析模型
http://blog.csdn.net/stdcoutzyx/article/details/9285001
朴素贝叶斯
https://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html
朴素贝叶斯是一个分类算法,输入一个X,X是一个向量包含多个特征,每一个特征包含多个特征值, 即X = (x1, x2, x3 ..., xn), 第一个特征x1可以包含大中小这样的三个特征值, 求出最后属于哪一个y;
首先这个问题可以写成一个概率公式,即 P(yi | X),最后选择最大的那个yi 的概率。
而现在直接求解P(yi | X)是不好求的,所以可以利用它贝叶斯定理: p(yi | X) = p(X | yi) P(yi) / p(X), 因为对于每个类别而言,我们预测的这个X是一样的,所以分母P(X)就没有意义了, 最后就是求 argmax P(X | yi) P(yi)
对于训练接的样本,我们可以很方便的求解 P(yi) , 而P(X | yi) = P( x1, x2, x3 ... , xn | yi) ,这个是不好求的,而朴素贝叶斯的核心思想就是解决这个问题,它大胆做出了一个假设,X中的所有特征值都是相互独立的,所以 P( x1, x2, x3 ... , xn | yi) = P(x1 | yi)P(x2 | yi) P(x3 | yi) ... P(xn | yi) ; 而P(x1 | yi)的求法就是在 yi 类中, 找所有x1的特征,对x1所有的特征值都要 求解出来;具体参考《学习统计方法》P51
计算多概率的乘积一伙的某个类别的概率,即计算p(w0|c1)p(w1|c1)p(w2|c1),如果其中一个概率值为0,那么最后的乘积也为0,解决方法就是为所有类别下的划分加1
生成模型:生出数据分布的模型, 在处理过程中得到数据的统计信息 p(x|y)
判别模型:判断数据分类的模型; 得到数据的分类, p(y|x)
高斯判别分析模型
http://blog.csdn.net/stdcoutzyx/article/details/9285001
朴素贝叶斯
https://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html
朴素贝叶斯是一个分类算法,输入一个X,X是一个向量包含多个特征,每一个特征包含多个特征值, 即X = (x1, x2, x3 ..., xn), 第一个特征x1可以包含大中小这样的三个特征值, 求出最后属于哪一个y;
首先这个问题可以写成一个概率公式,即 P(yi | X),最后选择最大的那个yi 的概率。
而现在直接求解P(yi | X)是不好求的,所以可以利用它贝叶斯定理: p(yi | X) = p(X | yi) P(yi) / p(X), 因为对于每个类别而言,我们预测的这个X是一样的,所以分母P(X)就没有意义了, 最后就是求 argmax P(X | yi) P(yi)
对于训练接的样本,我们可以很方便的求解 P(yi) , 而P(X | yi) = P( x1, x2, x3 ... , xn | yi) ,这个是不好求的,而朴素贝叶斯的核心思想就是解决这个问题,它大胆做出了一个假设,X中的所有特征值都是相互独立的,所以 P( x1, x2, x3 ... , xn | yi) = P(x1 | yi)P(x2 | yi) P(x3 | yi) ... P(xn | yi) ; 而P(x1 | yi)的求法就是在 yi 类中, 找所有x1的特征,对x1所有的特征值都要 求解出来;具体参考《学习统计方法》P51
计算多概率的乘积一伙的某个类别的概率,即计算p(w0|c1)p(w1|c1)p(w2|c1),如果其中一个概率值为0,那么最后的乘积也为0,解决方法就是为所有类别下的划分加1
相关文章推荐
- Stanford大学机器学习公开课(五):生成学习算法、高斯判别、朴素贝叶斯
- 机器学习笔记五 - 生成学习算法、高斯判别分析、朴素贝叶斯、拉普拉斯平滑
- 生成学习算法、高斯判别分析与朴素贝叶斯模型
- 6.生成学习算法,高斯判别和朴素贝叶斯
- 【05】standford L05 生成学习算法:高斯判别算法-朴素贝叶斯算法-Laplace Smoothing-文本分类-垃圾邮件处理
- 生成学习、高斯判别、朴素贝叶斯—斯坦福ML公开课笔记5
- 机器学习第四篇(stanford大学公开课学习笔记) —生成型学习算法之高斯判别分析模型和朴素贝叶斯方法
- [置顶] 生成学习算法、高斯判别分析、朴素贝叶斯、Laplace平滑——斯坦福ML公开课笔记5
- 生成学习算法(Generative Learning):GDA(高斯判别)和Navie Bayes(朴素贝叶斯)(一)
- 【斯坦福---机器学习】复习笔记之生成学习算法
- 【cs229-Lecture5】生成学习算法:1)高斯判别分析(GDA);2)朴素贝叶斯(NB)
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 斯坦福 机器学习-第二章 生成学习算法
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 【机器学习-斯坦福】学习笔记5 - 生成学习算法
- 【斯坦福---机器学习】复习笔记之生成学习算法
- 生成学习算法之高斯判别分析模型
- 机器学习(八):CS229ML课程笔记(4)——生成学习,高斯判别分析,朴素贝叶斯
- 斯坦福《机器学习》Lesson5感想———1、成学习算法
- 机器学习-生成学习算法