《数学之美》马尔科夫链的扩展-贝叶斯网络
2016-01-09 20:36
447 查看
1.使用贝叶斯网络需要首先确定此网络的拓扑结构,并且还要知道各个状态之间相关的概率,即拓扑结构和这些参数的过程称为结构训练和参数训练。
2.结构训练:优化的贝叶斯网络结构要保证它产生的序列从头到尾的可能性最大,即后验概率最大。 当然,产生一个序列可以有多条路径,从理论上讲,需要完备的搜索,即考虑每一条路径,才能得到全局最优。但计算复杂度大,因此一般采用贪婪的算法,也就是在每一步时,沿着箭头的方向寻找有限步。这样会陷入局部最优,一个防止显然局部最优的方法,是采用蒙特卡罗的方法(用许多随机数在贝叶斯网络中试一试,看看是否显然局部最优)。但是计算量大。最近,新的方法是利用信息论,计算节点之间两两的互信息,然后只保留互信息交大的节点的直接连接性,然后再对简化的网络进行完备的搜索,找到全局优化的结构。
3参数训练:.确定结构后,确定节点之间的弧的权重,这些权重用条件概率来度量。需要一些训练数据,我们需要优化贝叶斯网路的参数,使得这些数据的概率(后验概率)P(D|&)达到最大。利用EM过程。
4.在计算联合概率P(X, Y)时,训练数据会提供一些P(X, Y)之间的限制条件,而训练出来的模型要满足这些限制条件。(此模型应该是满足给定条件的“最大熵模型”)。
5.指明结构的训练和参数的训练通常是交替进行的。先优化参数,在优化结构,然后再次优化参数,知道得到收敛或者误差足够小的模型。
2.结构训练:优化的贝叶斯网络结构要保证它产生的序列从头到尾的可能性最大,即后验概率最大。 当然,产生一个序列可以有多条路径,从理论上讲,需要完备的搜索,即考虑每一条路径,才能得到全局最优。但计算复杂度大,因此一般采用贪婪的算法,也就是在每一步时,沿着箭头的方向寻找有限步。这样会陷入局部最优,一个防止显然局部最优的方法,是采用蒙特卡罗的方法(用许多随机数在贝叶斯网络中试一试,看看是否显然局部最优)。但是计算量大。最近,新的方法是利用信息论,计算节点之间两两的互信息,然后只保留互信息交大的节点的直接连接性,然后再对简化的网络进行完备的搜索,找到全局优化的结构。
3参数训练:.确定结构后,确定节点之间的弧的权重,这些权重用条件概率来度量。需要一些训练数据,我们需要优化贝叶斯网路的参数,使得这些数据的概率(后验概率)P(D|&)达到最大。利用EM过程。
4.在计算联合概率P(X, Y)时,训练数据会提供一些P(X, Y)之间的限制条件,而训练出来的模型要满足这些限制条件。(此模型应该是满足给定条件的“最大熵模型”)。
5.指明结构的训练和参数的训练通常是交替进行的。先优化参数,在优化结构,然后再次优化参数,知道得到收敛或者误差足够小的模型。
相关文章推荐
- TCP Socket和ZeroMQ socket的区别
- 贝叶斯信念网络和马尔科夫链有什么区别
- 【转】贝叶斯网络+马尔科夫毯 简介
- codevs1907 方格取数 3||tyvj1338QQ农场|网络流
- 如何使用http或httpClient向服务器上传图片 以及使用http上传图片时协议的描述
- https GET请求
- android的网络通信
- 从僵尸网络追踪到入侵检测 第3章 Honeyd服务(23端口防御)
- bzoj3931【CQOI2015】网络吞吐量
- Self Organizing Maps (SOM): 一种基于神经网络的聚类算法
- 扯谈网络编程之自己实现ping
- 通过网址获取图片
- 网络流之最大流算法模板EK
- SOCKET中send和recv函数工作原理与注意点
- iOS应用架构谈part3 网络层设计方案
- 深度神经网络为何很难训练(译文)
- 工具类:HttpURLConnHelper(实现网络访问文件,将获取到数据储存在文件流中)
- 谈谈TCP三次握手
- Android开发实现HttpClient工具类
- 进神经网络的学习方式(译文)----中