熵、联合熵、条件熵、交叉熵与相对熵意义
2018-02-10 10:23
148 查看
转自:http://blog.csdn.net/u013713117/article/details/55099060
熵:H(X)=−∑xp(x)lnp(x)
衡量不确定性的度量
联合熵: H(X,Y)=−∑x,yp(x,y)lnp(x,y)
(X,Y)在一起时的不确定性度量
条件熵: H(X,Y)−H(X)=−∑x,yp(x,y)lnp(y|x)
X确定时,Y的不确定性度量
在X发生是前提下,Y发生新带来的熵。
也可以定义为:条件熵的定义是:定义为X给定条件下,Y的条件概率分布的熵对X的数学期望
交叉熵:H(p,q)=−∑xp(x)lnq(x)
衡量p与q的相似性
相对熵: KL(p||q)=−∑xp(x)lnq(x)p(x)
p与q不相似的度量
KL(p||q)=−∑xp(x)lnq(x)p(x)
熵:H(X)=−∑xp(x)lnp(x)
衡量不确定性的度量
联合熵: H(X,Y)=−∑x,yp(x,y)lnp(x,y)
(X,Y)在一起时的不确定性度量
条件熵: H(X,Y)−H(X)=−∑x,yp(x,y)lnp(y|x)
X确定时,Y的不确定性度量
在X发生是前提下,Y发生新带来的熵。
也可以定义为:条件熵的定义是:定义为X给定条件下,Y的条件概率分布的熵对X的数学期望
交叉熵:H(p,q)=−∑xp(x)lnq(x)
衡量p与q的相似性
相对熵: KL(p||q)=−∑xp(x)lnq(x)p(x)
p与q不相似的度量
KL(p||q)=−∑xp(x)lnq(x)p(x)
相关文章推荐
- 熵、联合熵、条件熵、交叉熵与相对熵意义
- 计算语言学之条件熵与联合熵、相对熵与交叉熵的应用
- 联合索引优化多条件查询
- Linq 联合条件查询快捷方法
- jquery 中多条件选择器,相对选择器,层次选择器的区别
- duilib各种布局的作用,相对布局与绝对布局的的意义与用法
- 在LINQ中实现多条件联合主键LEFT JOIN
- 【基本概念】信息熵 条件熵 联合熵 左右熵 互信息
- 深入理解SQL的五种连接-交叉连接、内连接、外连接、联合连接、自然连接
- EF联合查询,如何设置条件过滤从表数据
- dotty编译器语法特性之一交叉类型,联合类型和文本单例类型
- jQuery的选择器(包含多条件选择器,相对选择器,层次选择器)
- 数据库触发联合索引的几个条件
- Linq 联合查询条件快捷拼接方法
- 联合两个索引查询,已解决: 还有个进行多条件搜索 and 与 or 的操作
- 联合索引优化多条件查询
- TypeScript基础入门之高级类型的交叉类型和联合类型
- Shell中的标志代表意义与条件判断(转)
- jQuery-extend扩展插件之实现多表单标注颜色(常用于多条件联合查询)
- jquery 中多条件选择器,相对选择器,层次选择器的区别