概率图模型（一）：贝叶斯网络

这部分文章主要是总结斯坦福大学的概率图模型课程（coursera链接）

Graohical Model主要分为两种：

贝叶斯网络（Bayesian Network）和马尔科夫随机场（Markov Network)

概率图理论共分为三个部分：

概率图模型表示理论、概率图模型推理理论和概率图模型学习理论。

贝叶斯网络基础

Semantics & Factorization

首先用一个学生成绩的例子引出了贝叶斯网络的定义：

贝叶斯网络是一个有向无环图（directed acyclic graph, DAG）G，其中节点表示的是随机变量X1,...,Xn；对每一个节点Xi有一个条件概率分布（conditional probility distribution, CPD）P(Xi|ParG(Xi))，其中ParG(Xi)表示节点Xi的父节点对应的随机变量；节点间的边表示的是变量间的概率关系，贝叶斯网络代表的就是通过贝叶斯链式法则表示的变量间的联合概率分布：

P(X1,...,Xn)=∏iP(Xi|ParG(Xi))

∑P=1

Flow of Probabilistic influence概率影响的流动

还是从学生成绩的贝叶斯网络图来理解概率影响的流动，即当一个变量X变换时是如何影响到其它节点Y的。



可以看到只有最后一种情况X的变化不能影响到Y，我们称之为V结构，如图中的Difficulty和Intelligence通过中间值Grade连接的V结构，因为此时的中间结构W（grade）是不可被观察的变量，因此D的值不会影响到I的值。但是如果W的值成为可以被观察的变量，上述结论就会发生变化。



由以上的讨论可以总结出Active Trail的条件如下：

Active Trail

A trail X1−...−Xn is active if : it has no v-structures Xi−1→Xi←Xi+1

A trial X1−...−Xn is active given Z if :

for any v-structure Xi−1→Xi←Xi+1we have that Xi or one of its descendants∈Z

no other Xi is in Z

Flow of influence & d-separation

d-separation：如果两个节点间没有Active trial，则这两个节点是d-separated的

Notation: d−sepG(x,y|z)

Condional Independence

两个变量独立的概念这里就不说了，简要介绍下条件独立：



给定条件后可能会使原来独立的变量变得不是条件独立的，例如上面所说的v-structure。

Independencies in Bayesian Networks

Theorem: If P factorizes over G, and d−sepG(x,y|z), then P satisfies (x⊥y|z).

Any node is d-seperated from its non-descendants given its parents.因为它的父节点已知后，其它节点就不能通过父节点影响该节点的值了。

I-maps

Theorem:

If P factorizes over G, then G is an I-map for P.

If G is an I-map for P ,then P factorizes over G.

Naive Bayes朴素贝叶斯

From：http://blog.csdn.net/sherrylml/article/details/51397311

Ref：https://class.coursera.org/pgm-003/

Ref：感谢http://blog.csdn.net/yangliuy/article/details/8067261