马尔科夫随机场（MRF）与条件随机场（CRF）

看《统计学习方法》中的条件随机场一章，觉得应该把马尔科夫随机场和条件随机场一起总结一下。

1.马尔科夫随机场

1.1无向图

假设有一组随机变量Y={Y1,Y2,...,Yn}Y=\{Y_1, Y_2,...,Y_n\}, 具有联合概率分布P(Y)P(Y)。此联合概率分布可以由一个无向图G=(V,E)G = (V,E)来表示。 其中VV 和 EE 分别是图GG 的节点和边。某个节点vi∈Vv_i \in V 代表一个随机变量YiY_i，而某一条边e∈Ee\in E 代表连接着的两个随机变量之间的关系。

1.2 无向图的随机变量之间的马尔科夫性

《统计学习方法》中介绍了三种马尔科夫性，分别是成对马尔科夫性，局部马尔科夫性和全局马尔科夫性，这三个概念差不多，这里只介绍成对马尔科夫性。

假设有两个不连接的节点uu和vv，其分别对应随机变量YuY_u和YvY_v，剩余的节点记为OO，对应随机变量为YOY_O。如果uu和vv满足成对马尔科夫性，即

P(Yu,Yv|YO)=P(Yu|YO)P(Yv|YO)P(Y_u,Y_v|Y_O) = P(Y_u|Y_O)P(Y_v|Y_O)

即在给定YOY_O的情况下，YuY_u与YvY_v是独立的。

上述式子中，由于P(Yu,Yv|YO)=P(Yu|YO)P(Yv|Yu,YO)P(Y_u,Y_v|Y_O) = P(Y_u|Y_O)P(Y_v|Y_u,Y_O)，所以也等价于：

P(Yv|Yu,YO)=P(Yv|YO)P(Y_v|Y_u,Y_O) = P(Y_v|Y_O)

说明在已知YOY_O的情况下，知道或不知道YuY_u对YvY_v的条件概率没有影响。

1.3 马尔科夫随机场

若随机变量YY的联合概率分布P(Y)P(Y)代表的无向图G=(V,E)G=(V,E)的每个节点均满足马尔科夫性，则GG是一个马尔科夫随机场。

个人理解：在马尔科夫随机场中，随机变量YY可以看做既是输入，又是输出。

2. 条件随机场

在明白了马尔科夫随机场的定义后，再理解条件随机场会比较简单。

在条件随机场中，有两种随机变量，分别是输入XX和输出YY，条件随机场关心条件概率P(Y|X)P(Y|X)。若在给定输入XX的情况下，随机变量YY构成的无向图G=(V,E)G=(V,E)是一个马尔科夫随机场，即：

P(Yv|X,Yu,YO)=P(Yv|X,YO)P(Y_v|X,Y_u,Y_O) = P(Y_v|X,Y_O)

3. 马尔科夫随机场与条件随机场的比较

MRF关注联合概率分布，CRF关注条件概率分布。所以MRF属于生成模型，而CRF属于判别模型。因此个人认为它们之间的差别主要是生成模型与判别模型的差别。生成模型本身比判别模型描述能力强，因为联合概率分布可以推导出条件概率分布：P(Y|X)=P(X,Y)P(X)P(Y|X) = \frac{P(X,Y)}{P(X)}；而判别模型收敛比较快。

Quora上有一个关于这两个模型差别的问题，请移步

这个网址