熵、交叉熵、相对熵(KL 散度)意义及其关系
2016-11-27 17:05
375 查看
熵:H(p)=−∑xp(x)logp(x)
交叉熵:H(p,q)=−∑xp(x)logq(x)
相对熵:KL(p∥q)=−∑xp(x)logq(x)p(x)
相对熵(relative entropy)也叫 KL 散度(KL divergence);
用来度量两分布之间的不相似性(dissimilarity);
通过交叉熵的定义,连接三者:
H(p,q)===−∑xp(x)logq(x)−∑xp(x)logp(x)−∑xp(x)logq(x)p(x)H(p)+KL(p∥q)
因为 −lnx 是凸函数,所以满足,凸函数的简森不等式的性质:
f(E)≤E(f)
这里我们令 f(⋅)=−lnx,则其是关于 x 的凸函数,因此:
E(f())≥f(E)⇓−∫p(x)lnq(x)p(x)dx≥−ln∫q(x)dx=0
也即 KL 散度恒大于等于 0;
交叉熵:H(p,q)=−∑xp(x)logq(x)
相对熵:KL(p∥q)=−∑xp(x)logq(x)p(x)
相对熵(relative entropy)也叫 KL 散度(KL divergence);
用来度量两分布之间的不相似性(dissimilarity);
通过交叉熵的定义,连接三者:
H(p,q)===−∑xp(x)logq(x)−∑xp(x)logp(x)−∑xp(x)logq(x)p(x)H(p)+KL(p∥q)
1. 简森不等式与 KL散度
KL(p∥q)=−∫p(x)lnq(x)p(x)dx因为 −lnx 是凸函数,所以满足,凸函数的简森不等式的性质:
f(E)≤E(f)
这里我们令 f(⋅)=−lnx,则其是关于 x 的凸函数,因此:
E(f())≥f(E)⇓−∫p(x)lnq(x)p(x)dx≥−ln∫q(x)dx=0
也即 KL 散度恒大于等于 0;
相关文章推荐
- 最大似然估计,交叉熵,相对熵(KL散度)
- 机器学习基础(五十八)—— 香农熵、相对熵(KL散度)与交叉熵
- 熵,交叉熵,相对熵(KL散度)
- 10.2 香农熵、相对熵(KL散度)与交叉熵
- 相对熵(KL散度)
- KL散度及其python实现
- 交叉熵cross entropy和相对熵(kl散度)
- 熵模型—— 熵,条件熵,联合熵,相对熵,互信息及其关系,最大熵模型。。
- 交叉熵、相对熵及KL散度通俗理解
- 相对熵(互熵,交叉熵,鉴别信息,Kullback熵,Kullback-Leible散度即KL散度)的深入理解
- KL散度 自信息 熵 相对熵 KL divergence entropy
- 最大熵模型(Maximum Etropy)—— 熵,条件熵,联合熵,相对熵,互信息及其关系,最大熵模型。。
- 相对熵(KL散度)
- 【原】浅谈KL散度(相对熵)在用户画像中的应用
- 信息量, 信息熵, 交叉熵, KL散度
- KL 散度,相对熵
- 相对熵(KL散度)
- 偏差(bias)和方差(variance)及其与K折交叉验证的关系
- 特征选择--信息增益(相对熵、KL散度、KL距离)
- 相对熵(KL散度)