概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解
2014-11-04 13:24
330 查看
概率分布(Distributions)
如图1所示,这是最简单的联合分布案例,姑且称之为学生模型。
![](http://img.blog.csdn.net/20140515223012781?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图1
其中包含3个变量,分别是:I(学生智力,有0和1两个状态)、D(试卷难度,有0和1两个状态)、G(成绩等级,有1、2、3三个状态)。
表中就是概率的联合分布了,表中随便去掉所有包含某个值的行,就能对分布表进行缩减。
例如可以去掉所有G不为1的行,这样就只剩下了1、4、7、10行,这样他们的概率之和就不为1了,所以可以重新标准化(Renormalization)。如图2所示。
![](http://img.blog.csdn.net/20140515223124484?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图2
反之也可以把所有含有某个值得行相加,就是边缘化(Marginalization),如图3所示。
![](http://img.blog.csdn.net/20140515223107625?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图3
条件概率分布(Conditional ProbabilityDistribution, CPD)
已知学生的智力和试卷难度,学生得分的分布就是条件概率。如图4所示。
![](http://img.blog.csdn.net/20140515223211437?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图4
因子(Factors)
因子是随机变量的函数。
因子是处理概率分布的的基本手段。
因子是高维空间中用以定义概率分布的基本单元。
![](http://latex.codecogs.com/gif.latex?\Phi\left(%20{{X_1},%20\ldots%20,{X_k}}%20\right))
因子可以相乘(图5)、边缘化(图6)以及缩减(图7)。
![](http://img.blog.csdn.net/20140515223249828?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图5
![](http://img.blog.csdn.net/20140515223304656?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图6
![](http://img.blog.csdn.net/20140515223317281?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图7
前面提到的学生模型,其条件概率分布可以画在一张图里面,如图8.
每个节点代表一个因子,其中有些CPD已经蜕化成非条件概率了。
![](http://img.blog.csdn.net/20140515223344562?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图8
贝叶斯网络的链式法则(Chain Rule)
如图9所示。概率分布由因子的积来定义。
![](http://latex.codecogs.com/gif.latex?P\left({D,I,G,S,L}%20\right)%20=%20P\left(%20D%20\right)P\left(%20I%20\right)P\left(%20{G\left|%20{I,D}\right.}%20\right)P\left(%20{S\left|%20I%20\right.}%20\right)P\left(%20{L\left|%20G%20\right.}\right))
![](http://img.blog.csdn.net/20140515223339890?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图9
例如
![](http://latex.codecogs.com/gif.latex?P\left({{d^0},{i^1},{g^3},{s^1},{l^1}}%20\right)%20=%200.6%20\times%200.3%20\times%200.02%20\times0.01%20\times%200.8)
因此,通过链式法则,贝叶斯网络能够表示联合概率分布:
![](http://latex.codecogs.com/gif.latex?P\left({{X_1},%20\ldots%20,{X_n}}%20\right)%20=%20\prod\limits_i%20{P\left(%20{{X_i}\left|{Pa{r_G}\left(%20{{X_i}}%20\right)}%20\right.}%20\right)})
贝叶斯网络的重要性质是概率和为1
![](http://latex.codecogs.com/gif.latex?\begin{array}{l}\sum\limits_{D,I,G,S,L}{P\left(%20{D,I,G,S,L}%20\right)}%20%20=\sum\limits_{D,I,G,S,L}%20{P\left(%20D%20\right)P\left(%20I%20\right)P\left(%20{G\left|{I,D}%20\right.}%20\right)P\left(%20{S\left|%20I%20\right.}%20\right)P\left(%20{L\left|%20G\right.}%20\right)}%20\\%20=%20\sum\limits_{D,I,G,S,L}%20{P\left(%20D\right)P\left(%20I%20\right)P\left(%20{G\left|%20{I,D}%20\right.}%20\right)P\left(%20{S\left|I%20\right.}%20\right)\sum\limits_L%20{P\left(%20{L\left|%20G%20\right.}%20\right)}%20}%20\\%20=%20\sum\limits_{D,I,G,S,L}%20{P\left(%20D\right)P\left(%20I%20\right)P\left(%20{G\left|%20{I,D}%20\right.}%20\right)\sum\limits_S{P\left(%20{S\left|%20I%20\right.}%20\right)}%20}%20\\{\rm{=%20}}\sum\limits_{D,I,G,S,L}%20{P\left(%20D%20\right)P\left(%20I%20\right)P\left(%20{G\left|{I,D}%20\right.}%20\right)}%20\\%20=%20\sum\limits_{D,I,G,S,L}%20{P\left(%20D\right)P\left(%20I%20\right)%20=%201}\end{array})
一个简单的概率图是血型模型
其中G指基因型,B指血型。可以看到血型只由自己的基因型决定,而基因型则由父母两人的基因型决定。如图10.
![](http://img.blog.csdn.net/20140515223404000?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWNoZW5nX3NqdHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
图10
如图1所示,这是最简单的联合分布案例,姑且称之为学生模型。
图1
其中包含3个变量,分别是:I(学生智力,有0和1两个状态)、D(试卷难度,有0和1两个状态)、G(成绩等级,有1、2、3三个状态)。
表中就是概率的联合分布了,表中随便去掉所有包含某个值的行,就能对分布表进行缩减。
例如可以去掉所有G不为1的行,这样就只剩下了1、4、7、10行,这样他们的概率之和就不为1了,所以可以重新标准化(Renormalization)。如图2所示。
图2
反之也可以把所有含有某个值得行相加,就是边缘化(Marginalization),如图3所示。
图3
条件概率分布(Conditional ProbabilityDistribution, CPD)
已知学生的智力和试卷难度,学生得分的分布就是条件概率。如图4所示。
图4
因子(Factors)
因子是随机变量的函数。
因子是处理概率分布的的基本手段。
因子是高维空间中用以定义概率分布的基本单元。
因子可以相乘(图5)、边缘化(图6)以及缩减(图7)。
图5
图6
图7
前面提到的学生模型,其条件概率分布可以画在一张图里面,如图8.
每个节点代表一个因子,其中有些CPD已经蜕化成非条件概率了。
图8
贝叶斯网络的链式法则(Chain Rule)
如图9所示。概率分布由因子的积来定义。
图9
例如
因此,通过链式法则,贝叶斯网络能够表示联合概率分布:
贝叶斯网络的重要性质是概率和为1
一个简单的概率图是血型模型
其中G指基因型,B指血型。可以看到血型只由自己的基因型决定,而基因型则由父母两人的基因型决定。如图10.
图10
相关文章推荐
- 概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解
- 概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解
- 概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解
- 概率图模型(PGM)学习笔记(四)-贝叶斯网络-伯努利贝叶斯-多项式贝叶斯
- 概率图模型(PGM)学习笔记(四)-贝叶斯网络-伯努利贝叶斯-多项式贝叶斯
- 概率图模型(PGM)学习笔记(四)-贝叶斯网络-伯努利贝叶斯-多项式贝叶斯
- 概率图模型(PGM)学习笔记(一)动机与概述
- 概率图模型(PGM)学习笔记(五)——模板模型
- 概率图模型(02)上: 贝叶斯网中独立关系(因子分解 & 影响流动)
- 概率图模型-原理与技术 第三章 贝叶斯网表示 学习笔记(一)
- 概率图模型(PGM)学习笔记(三)模式判断与概率图流
- 概率图模型(PGM)学习笔记(一)动机与概述
- 贝叶斯网络参数学习笔记
- 概率图模型(PGM)学习笔记(三)模式判断与概率图流
- 概率图模型(PGM)学习笔记(三)模式推断与概率图流
- 概率图模型(PGM)学习笔记(五)——模板模型
- 概率图模型基础 - 贝叶斯网络参数学习(贝叶斯估计+碎权更新法)
- 概率图模型(02)下: 贝叶斯网两等价观点(条件独立和因子分解)
- 概率图模型(PGM)学习笔记(三)模式推断与概率图流
- 机器学习&数据挖掘笔记_18(PGM练习二:贝叶斯网络在遗传图谱在的应用)