Markov随机场（MRF）和条件随机场（CRF）

在讲MRF和CRF之前，我们先来看看随机场又是什么意思？

一、随机场

简单来说，随机场可以看作是一组对应于同一样本空间的随机变量的集合。一般来说，这些随机变量之间存在依赖关系，也只有当它们之间存在依赖关系的时候，我们才会将其单独拿出来看成一个随机场才有实际意义。

二、Markov随机场（MRF）

MRF（Markov Random Fields）就是加了Markov性质的随机场。首先，一个MRF对应一个无向图。这个无向图上的每一个节点对应一个随机变量，节点之间的边对应随机变量之间有概率依赖关系。因此，Markov随机场的结构本质上反应了其先验关系，也就是哪些变量之间有依赖关系是要考虑的，哪些是可以忽略的。

Markov性质是指，Markov随机场中任何一个随机变量，给定场中其他所有变量下该随机变量的分布，等同于给定场中该变量的邻居节点下该变量的分布。这个性质让人联想到马氏链的定义：离当前因素较远的因素对当前因素的性质影响不大。Markov的性质可以看作是Markov随机场的微观属性，其宏观属性是其联合概率的形式。

假设MRF的变量集合为S=｛y1,...yn},P(y1,...yn)= 1/Z * exp{-1/T * U(y1,..yn)},其中Z是归一化因子，即对分子的所有y1,..yn求和得到。U(y1,..yn)一般称为energy function, 定义为在MRF上所有clique-potential之和。T称为温度，一般取1。什么是click-potential呢? 就是在MRF对应的图中，每一个clique对应一个函数，称为clique-potential。这个联合概率形式又叫做Gibbs distribution。Hammersley
and Clifford定理表达了这两种属性的等价性。

如果clique-potential的定义和clique在图中所处的位置无关，则称该MRF是homogeneous；如果clique-potential的定义和clique在图中的朝向(orientation)无关，则称该MRF是isotropic的。一般来说，为了简化计算，都是假定MRF即是homogeneous也是iostropic的。

三、条件随机场（CRF）

CRF（Conditional Random Fields）是一种判别式图模式。因为其强大的表达能力和出色的性能，得到了广泛的应用。从最通用的角度来看，CRF本质上是给定了观察值集合的MRF。如果给定的MRF中每个随机变量下面还有观察值，我们要确定的是给定观察集合下，这个MRF的分布，就是条件分布，则这个MRF就是CRF。CRF的条件分布形式完全类似于MRF的分布形式，只不过多了一个观察集x，即P(y1,..yn|x) = 1/Z(x) * exp{ -1/T * U(y1,...yn,x)。U(y1,..yn,X)仍旧是click-potential之和。

参考博客：http://blog.sina.com.cn/s/blog_6d15445f0100n1vm.html

马尔科夫链：http://blog.csdn.net/makenothing/article/details/41363971