Max Entropy Model study note

随机事件的信息熵：设随机变量ξ，它有A1，A2，A3，A4，……，An共n种可能的结局，每个结局出现的概率分别为p1，p2，p3，p4，……，pn，则其不确定程度，即信息熵为:



举例：抛硬币

p(head) = 0.5, p(tail) = 0.5

信息熵为H(p) = -(0.5 * log(0.5) * 2) = -log0.5 = 1(log以2为底)

设最终输出值构成的语言学类别有限集为Y，对于每个y∈Y，其生成均受上下文信息x的影响和约束。已知与y有关的所有上下文信息组成的集合为X，则模型的目标是：给定上下文x∈X，计算输出为y∈Y的条件概率p(y|x)。