最大熵模型基础知识
2016-04-14 18:17
357 查看
最大熵模型是指在预测结果时,不添加任何主观判断的一种预测模型。
比如扔色子的点数预测,我们就是基于最大熵原理预测1-6点每个出现的概率是1/6.
如果某个面做了特殊处理,出现的概率高,那么其他面出现的概率就是,在满足这个约束条件下,平均分布其他各点的概率。
比如:3点的出现概率是1/3,那么其他点出现的概率是2/3*1/5=2/15. 这就是最大熵模型。
注意事项:
1、最大熵的计算公式是指数形式。
2、原理简单,但实现复杂。
一般步骤:
1、利用训练集,确定最大熵公式中的各个参数。这些参数如果因为训练集超出实际,则减少参数值,直到收敛。
2、根据最大熵公式,给出预测结果。
比如扔色子的点数预测,我们就是基于最大熵原理预测1-6点每个出现的概率是1/6.
如果某个面做了特殊处理,出现的概率高,那么其他面出现的概率就是,在满足这个约束条件下,平均分布其他各点的概率。
比如:3点的出现概率是1/3,那么其他点出现的概率是2/3*1/5=2/15. 这就是最大熵模型。
注意事项:
1、最大熵的计算公式是指数形式。
2、原理简单,但实现复杂。
一般步骤:
1、利用训练集,确定最大熵公式中的各个参数。这些参数如果因为训练集超出实际,则减少参数值,直到收敛。
2、根据最大熵公式,给出预测结果。
相关文章推荐
- 最大熵工具包的使用
- 为什么 LR 模型要使用 sigmoid 函数,背后的数学原理是什么?
- 最大熵模型
- 统计中文分词(最大熵)
- 最大熵(一)
- 张乐博士的最大熵模型
- 最大熵模型学习笔记李航统计学习
- 最大熵方法求概率密度函数
- 最大熵与逻辑回归的等价性
- 中文分词模型之最大熵模型
- 信息论、最大熵模型
- 熵的应用(一)——qjzcy的博客
- 非线性规划——qjzcy的博客
- python实现最大熵模型
- 机器学习中的必修数学(八)
- The Maximum Entropy Principle
- 最大熵模型(不断更新中)
- 机器学习之从极大似然估计到最大熵原理以及EM算法详解
- 老太太买菜与最大熵模型
- 最大熵模型中的数学推导