贝叶斯网络基础

只知道朴素贝叶斯分类算法，贝叶斯网络倒是不熟悉，应该也可以应用到逻辑推理和语义网络中去吧。

转自　http://www.cnblogs.com/guystar/articles/126688.html

一：定义

贝叶斯网络用来表示变量间连接概率关系的DAG图。结点表示：领域变量；有向边：结点间的依赖关系；对每一个结点都对应着一个条件概率分布表，该分布表指明了该变量与父结点之间的依赖关系。

二：应用领域

辅助智能决策、数据融合、模式识别、医疗诊断、文本理解、数据挖掘

三：表示方法

图形表示

四：先验概率和后验概率

根据历史的资料或主观判断所得到的概率，该类概率没有经过检验，属于检验前的概率。分为客观先验概率和主观先验概率。

后验概率一般是指根据贝叶斯公式，结合调查等方式对先验概率进行修正后得到的比较符合实际情况的概率。

五：全概率公式

设A1,A2,…,An是两两互斥的事件，且P(Ai)>0，
i =1,2,…,n, A1+A2+…,+An=Ω，

另有一事件B = BA1+BA2+…,+BAn，P(B)=E(P(Ai)P(B|Ai)

成为满足上述条件的A1,A2,…,An完备事件组

由此可以把全概率公式认为是由原因推结果,每个原因都对结果的发生有一定的作用,即结果发生的可能性与各种原因作用的大小有关系,全概率公式表示了它们之间的关系.

六：贝叶斯公式和规则

P(Ai|B)=P(A[i]B)/(P(A1)P(B|A1)+......+P(An)P(B|An)) i =1,2,…,n

该公式于1763年由贝叶斯(Bayes)给出. 它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率.

贝叶斯规则:基于条件概率的定义

n p(Ai|E) 是在给定证据下的后验概率

n p(Ai) 是先验概率

n P(E|Ai) 是在给定Ai下的证据似然

n p(E) 是证据的预定义后验概率

一: 贝叶斯网络的概率解释

完整的概率模型应该具有表示领域变量联合分布的能力,贝叶斯网络提供了表示这种领域变量联合分布的紧凑形式,从公式中我们可以看出,网络中的结点个数程线形增长,但联合分布的计算程指数性增长.

网络中变量间的独立性是实现紧凑表示的关键.

二: 简单贝叶斯学习模型
特征: 各分量独立的总用于决策变量.

特点: 结构简单只有两层结构，推理复杂性和网络结点个数程线形增长。

贝叶斯网络

　　贝叶斯网络亦称信念网络(Belief Network)，于是1985年由Judea Pearl首先提出。它是一种模拟人类推过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。它的节点用随机变量或命题来标识，认为有直接关系的命题或变量则用弧来连接。例如，假设结点E直接影响到结点H，即E→H，则建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H/E)来表示。

一般来说，有n个命题x1,x2,,xn之间相互关系的一般知识可用联合概率分布来描述。但是，这样处理使得问题过于复杂。Pearl认为人类在推理过程中，知识并不是以联合概率分布形表现的，而是以变量之间的相关性和条件相关性表现的，即可以用条件概率表示。

一旦命题之间的相关性由有向弧表示，条件概率由弧的权值来表示，则命题之间静态结构关系的有关知识就表示出来了。当获取某个新的证据事实时，要对每个命题的可能取值加以综合考查，进而对每个结点定义一个信任度，记作Bel(x)。可规定

Bel(x) = P(x=xi / D)

来表示当前所具有的所有事实和证据D条件下，命题x取值为xi的可信任程度，然后再基于Bel计算的证据和事实下各命题的可信任程度。

贝叶斯网络演示程序...

http://cai.csu.edu.cn/jpkc/rengongzhineng/rengongzhineng/kejian/AI/Ai/program/bayes_ling/Bayes.htm

引自　http://www.soachina.com/dispbbs.asp?boardID=62&ID=40694