KL Divergence KL散度

在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。

有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念，应为：1）KL散度不是对称的；2）KL散度不满足三角不等式。

相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。

KL散度是两个**概率分布**P和Q差别的非对称性的度量。

对一个离散随机变量的两个概率分布P和Q来说，他们的KL散度定义为：



对于连续的随机变量，定义类似：


对于KL散度新的应用参考Clustering Uncertain Data Based on Probability Distribution Similarity