最大似然估计,交叉熵,相对熵(KL散度)
2018-01-04 11:42
246 查看
在机器学习中,选择损失函数时,通常会遇到交叉熵的概念,也就是交叉熵损失函数,那么我们知道最小化交叉熵损失函数等价于最大化对数似然,那么最小化交叉熵损失函数其含义是怎么样本的?我们知道针对分类问题,我们并不知道Y的真实分布,因此需要通过模型来估计Y的真实分布,以逻辑回归为例,假设Y的真实分布为:P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常q=11+exp(−xβ), 我们需要做的就是估计参数β,使得P和P’之间的差异尽可能小,描述两个分布差异大小的量我们可以使用相对熵 即 EP(−logP′)−EP(−logP),那么这个EP(−logP′)便是交叉熵,最小化相对熵等价于最小化交叉熵,因为EP(−logP)是常数(尽管不知道),而EP(−logP′),可以做样本估计−∑iP(Yi=1)logq+P(Yi=0)log(1−q)=∑ilogYq+(1−Y)log(1−q)
相关文章推荐
- 熵、交叉熵、相对熵(KL 散度)意义及其关系
- 机器学习基础(五十八)—— 香农熵、相对熵(KL散度)与交叉熵
- 熵,交叉熵,相对熵(KL散度)
- 10.2 香农熵、相对熵(KL散度)与交叉熵
- 最大似然估计
- 最大似然估计
- 最大似然估计与贝叶斯参数估计
- [转] 最大似然估计
- 最大似然估计 (MLE) 最大后验概率(MAP)
- 贝叶斯估计与最大似然估计
- 最大似然估计Maximum Likelihood Estimation
- 最大似然估计(MLE)与最小二乘估计(LSE)的区别
- 先验概率、最大似然估计、贝叶斯估计、最大后验概率
- 最大似然估计MLE与贝叶斯估计
- 最大似然估计的原理
- 文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计
- 最大似然估计(MLE)和最大后验概率(MAP)
- 最大似然估计MLE和最大后验概率估计MAP
- 先验概率、后验概率、最大似然估计
- 最大似然估计