条件随机场：Conditionl Random Field

CRF

条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题。

概率无向图模型

定义

概率无向图模型又称为马尔可夫随机场(Markov Random Field)，是一个可以由无向图表示的联合概率分布。

图一般记作G=(V,E)，其中V表示节点，E表示边。概率图模型是由图表示的概率分布，设有联合概率分布P(Y),Y∈Y是一组随机变量，由无向图G=(V,E)表示概率分布P(Y),在图中节点v∈V表示一个随机变量Yv，边e∈E表示随机变量之间的概率依赖关系。

给定一个联合概率分布P(Y)和其所对应的无向图G。那么其具有的性质有：

成对马尔可夫性: 在无向图中，任意一对随机变量在其余随机变量下条件独立。即：P(Yu,Yv∣Yo)=P(Yv∣Yo)P(Yu∣Yo)

局部马尔可夫性:在无向图中，一个点与其非邻接结点所对应的随机变量(组)在邻接结点对应的随机变量(组)下条件独立，即：P(Yo,Yv∣Yw)=P(Yo∣Yw)P(Yv∣Yw)

全局马尔可夫性:无向图中的被一个结点集合C分为其他两部分A,B，那么在结点集合C对应的随机变量组的条件下，A,B对应的随机变量组条件独立。即：P(YA,YB∣YC)=P(YA∣YC)P(YB∣YC)

上述三种性质是等价的！

定义（概率无向图模型） 设有联合概率分布P(Y)，由无向图G=(V,E)表示,在图G中节点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性，则称次联合概率分布为概率无向图模型或者马尔可夫随机场。

因子分解

定义 (团、最大团) 无向图G中任何两个结点均有边连接的结点子集称为团(clique)。若C是无向图G的一个团，并且不能再加进行任何一个G的结点使其成为一个更大的团，则称之为最大团(maximal clique)。

将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作， 称之为概率无向图的因子分解（factorization）。

那么概率无向图模型的联合概率分布P(Y)可以表示为：

P(Y)=∏CψC(YC)∑y∏CψC(YC)

其中，C是无向图中的最大团，YC是C的结点对应的随机变量， ψC(YC)是C上定义的严格正函数，乘积是在所有的最大团上进行的。

条件随机场

定义

条件随机场时给定随机变量X的条件下，随机变量Y的马尔可夫随机场。 设X与Y是随机变量，P(Y∣X)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G=(V,E)表示的马尔可夫随机场，即P(Yv∣X,Yw,w≠v)=P(Yv∣X,Yw,w∼v)对任意结点v都成立，则称条件概率分布P(Y∣X)为条件随机场(CRF)。

定义(线性链条件随机场) 设X=(X1,X2,⋯,n),Y=(Y1,Y2,⋯,Yn)均为线性链表示的随机变量序列，若在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布P(Y∣X)构成条件随机场，即满足马尔可夫性：P(Yi∣X,Y1,Y2,⋯,Yi−1,Yi+1,⋯,Yn)=P(Yi∣X,Yi−1,Yi+1,⋯,Yn),则称P(Y∣X)为线性链条件随机场。在标注问题中，X表示输入观测序列，Y表示对应的输出标记序列或者状态序列。

参数形式

简化形式

矩阵形式

概率计算问题

前向-后向算法

学习算法

极大似然估计

Reference:

[1]李航：《统计学习方法》