分类-3-生成学习-1-问题引入
2016-04-05 20:52
239 查看
在之前的学习方法中,我们的目的是求p(y|x,θ)p(y|x,\theta),即求y在x的条件下的概率。例如在逻辑回归中我们的模型是hθ(x)=g(θTx)h_\theta(x)=g(\theta^Tx),其输出结果就是预测样本属于某个类别的概率。对于二分类来说,它们的目的就是为了找到一个分割线(超平面)将样本划分为2类。当测试一个输入样本时,只需要看这个样本在分割线(超平面)的哪一侧。
回想贝叶斯公式:
p(y|x)=p(x|y)p(y)p(x)p(y|x)=\frac{p(x|y)p(y)}{p(x)}
学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B)P(AB)=P(A)P(B|A)=P(B)P(A|B);即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率。由条件概率公式推导出贝叶斯公式:P(B|A)=P(A|B)P(B)P(A)P(B|A)=\frac{P(A|B)P(B)}{P(A)};即,已知P(A|B),P(A)P(A|B),P(A)和P(B)P(B)可以计算出P(B|A)P(B|A)。
P(A)P(A)是AA的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何BB方面的因素。
P(A|B)P(A|B)是已知BB发生后AA的条件概率,也由于得自BB的取值而被称作AA的后验概率。
P(B|A)P(B|A)是已知AA发生后BB的条件概率,也由于得自AA的取值而被称作BB的后验概率。
P(B)P(B)是BB的先验概率或边缘概率,也作标准化常量(normalized constant)。
假设BB是由相互独立的事件组成的概率空间{B1,B2,...Bn}\{B_1,B_2,...B_n\}。则P(A)P(A)可以用全概率公式展开:P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)P(A)=P (A|B_1)P(B_1)+P(A|B_2)P(B_2)+..P(A|B_n)P(B_n)。贝叶斯公式表示成:P(Bi|A)=P(A|Bi)P(Bi)P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+..P(A|B_n)P(B_n)};因此贝叶斯公式就可变为下面形式:
P(Bi|A)=P(A|Bi)P(Bi)∑ni=1P(A|Bi)P(Bi)P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{i=1}^nP(A|B_i)P(B_i)}
这里A就相当于我们的输入x,显然分母的值是固定不变的。因此在实际使用中我们并不需要考虑P(x)。这里A就相当于我们的输入x,显然分母的值是固定不变的。因此在实际使用中我们并不需要考虑P(x)。
因此可得我们的预测结果:
注:argmaxyp(y|x)代表,输出使得p(y|x)最大的yargmax_yp(y|x)代表,输出使得p(y|x)最大的y。
这种方法我们称为生成模型,而之前的一些方法称为辨别模型这篇博客较为详细地介绍了两个模型
回想贝叶斯公式:
p(y|x)=p(x|y)p(y)p(x)p(y|x)=\frac{p(x|y)p(y)}{p(x)}
学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B)P(AB)=P(A)P(B|A)=P(B)P(A|B);即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率。由条件概率公式推导出贝叶斯公式:P(B|A)=P(A|B)P(B)P(A)P(B|A)=\frac{P(A|B)P(B)}{P(A)};即,已知P(A|B),P(A)P(A|B),P(A)和P(B)P(B)可以计算出P(B|A)P(B|A)。
P(A)P(A)是AA的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何BB方面的因素。
P(A|B)P(A|B)是已知BB发生后AA的条件概率,也由于得自BB的取值而被称作AA的后验概率。
P(B|A)P(B|A)是已知AA发生后BB的条件概率,也由于得自AA的取值而被称作BB的后验概率。
P(B)P(B)是BB的先验概率或边缘概率,也作标准化常量(normalized constant)。
假设BB是由相互独立的事件组成的概率空间{B1,B2,...Bn}\{B_1,B_2,...B_n\}。则P(A)P(A)可以用全概率公式展开:P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)P(A)=P (A|B_1)P(B_1)+P(A|B_2)P(B_2)+..P(A|B_n)P(B_n)。贝叶斯公式表示成:P(Bi|A)=P(A|Bi)P(Bi)P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+..P(A|B_n)P(B_n)};因此贝叶斯公式就可变为下面形式:
P(Bi|A)=P(A|Bi)P(Bi)∑ni=1P(A|Bi)P(Bi)P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{i=1}^nP(A|B_i)P(B_i)}
这里A就相当于我们的输入x,显然分母的值是固定不变的。因此在实际使用中我们并不需要考虑P(x)。这里A就相当于我们的输入x,显然分母的值是固定不变的。因此在实际使用中我们并不需要考虑P(x)。
因此可得我们的预测结果:
注:argmaxyp(y|x)代表,输出使得p(y|x)最大的yargmax_yp(y|x)代表,输出使得p(y|x)最大的y。
这种方法我们称为生成模型,而之前的一些方法称为辨别模型这篇博客较为详细地介绍了两个模型
相关文章推荐
- P值已经被废,学的东西有多少是真的?
- 【原】Spark中Stage的提交源码解读
- 【转】深入剖析Java中的装箱和拆箱
- Codeforces Round #345 (Div. 1) & CodeForces 650A Watchmen
- android.view.GLES20RecordingCanvas.drawBitmap异常
- 第5周项目4-长方柱类
- HDU 4123(RMQ(o1)模板 , 树直径)
- 如何阻止移动设备(手机,pad)浏览器双击放大网页?
- Fresco-Facebook的图片加载框架的使用
- BZOJ 2209: [Jsoi2011]括号序列&&BZOJ 2329: [HNOI2011]括号修复
- codevs2370小机房的树
- 使用Classie.js让添加、删除和检查类更容易
- iOS安全–在非越狱平台进行越狱开发(附分析流程)
- 《LeetBook》leetcode题解(3):Longest Substring Without Repeating Characters[M]——哈希判断重复
- 《LeetBook》leetcode题解(3):Longest Substring Without Repeating Characters[M]——哈希判断重复
- 第四周总结
- Linux kill 命令
- poj 3277 City Horizon
- android.view.ViewRootImpl$CalledFromWrongThreadException: Only the original thread that created a vi
- linux I2C读写EEPROM