PRML第一章_易混淆概念-先验后验&生成判别&分类回归
2015-09-25 11:39
274 查看
先验概率和后验概率:
例如先验概率是p(B),不需要给定的F,就可以得到的概率叫做先验概率。
后验概率是p(B|F),给定F之后,才得到的概率就叫做后验概率。
生成和判别模型
生成模型:
通过联合概率密度p(x,y),再间接根据
由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类,就像上面说的那样。注意了哦,这里是先求出P(X,Y)才得到P(Y|X)的,然后这个过程还得先求出P(X)。P(X)就是你的训练数据的概率分布。
判别模型:
直接判别
由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括k近邻,感知级,决策树,支持向量机等。
分类和回归模型:
关键点在于输出变量的类型:
如果输出变量是离散,即为分类模型
如果输出变量是连续的,即为回归模型。
拿支持向量机举个例子,分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是:给定一个新的模式,根据训练集推断它所对应的输出y(实数)是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是:给定一个新的模式,根据训练集推断它所对应的类别(如:+1,-1)。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。综上,回归问题和分类问题的本质一样,不同仅在于他们的输出的取值范围不同。分类问题中,输出只允许取两个值;而在回归问题中,输出可取任意实数。
例如先验概率是p(B),不需要给定的F,就可以得到的概率叫做先验概率。
后验概率是p(B|F),给定F之后,才得到的概率就叫做后验概率。
生成和判别模型
生成模型:
通过联合概率密度p(x,y),再间接根据
由数据学习联合概率密度分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类,就像上面说的那样。注意了哦,这里是先求出P(X,Y)才得到P(Y|X)的,然后这个过程还得先求出P(X)。P(X)就是你的训练数据的概率分布。
判别模型:
直接判别
由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。典型的判别模型包括k近邻,感知级,决策树,支持向量机等。
分类和回归模型:
关键点在于输出变量的类型:
如果输出变量是离散,即为分类模型
如果输出变量是连续的,即为回归模型。
拿支持向量机举个例子,分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是:给定一个新的模式,根据训练集推断它所对应的输出y(实数)是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是:给定一个新的模式,根据训练集推断它所对应的类别(如:+1,-1)。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。综上,回归问题和分类问题的本质一样,不同仅在于他们的输出的取值范围不同。分类问题中,输出只允许取两个值;而在回归问题中,输出可取任意实数。
相关文章推荐
- Cocos2d-x 使用物理引擎进行碰撞检测
- c#获取目录2
- Makefile好助手:pkgconfig
- 中国朝代
- Codeforces580D. Kefa and Dishes
- windows32位下安装Redis+连接PHP
- Android万能适配器
- Android UI学习 - Menu
- Oracle数据库导入、导出问题。
- 同时查找最大值和最小值
- 开发板学习摘要
- *Edit Distance
- android中Handle类的用法实例分析
- ASP.NET预备知识学习笔记
- android 混淆打包
- 数学中竟然还有这样的定理!
- PHP多线程读写文件操作
- 纯属记录下
- MyBatis返回值
- PowerShell 4.0实现自动化设置服务器