证明分布越均匀熵越大
2015-11-05 20:00
267 查看
证明分布越均匀熵越大:有两个二分类样本,第一个样本p1,p2,第二个q1,q2,且p1<q1<q2<p2,证明第2个样本的熵大 。
---来自一道博士的面试题。
分析
其实熵拐了两个弯。熵意思是信息的混乱程度,越混乱,熵越大。分布越均匀,则是越混乱。
思路是求导取极值,而这个极值是极大值,左增右减
大概长这样的
![](file:///F:\Program Files\Tencent\QQ_temp\303891229\Image\Group\3L$X2~MSB8X6N(2GPVAW(CG.jpg)
![](http://img.blog.csdn.net/20151105195405982?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
计算求导的过程如下:
![](http://img.blog.csdn.net/20151105195449618?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
0.5是极值点,所以在中间的熵会比较大
大家还有什么思路,欢迎指教 :-D
---来自一道博士的面试题。
分析
其实熵拐了两个弯。熵意思是信息的混乱程度,越混乱,熵越大。分布越均匀,则是越混乱。
思路是求导取极值,而这个极值是极大值,左增右减
大概长这样的
![](file:///F:\Program Files\Tencent\QQ_temp\303891229\Image\Group\3L$X2~MSB8X6N(2GPVAW(CG.jpg)
计算求导的过程如下:
0.5是极值点,所以在中间的熵会比较大
大家还有什么思路,欢迎指教 :-D
相关文章推荐
- 黑马程序员--多线程
- Jquery 使用集合
- 达内学习日志Day44:ListAccountServlet(封装<一>)
- 插入排序Java实现
- Category / Extention / 属性 / 成员变量 /
- jQuery的DOM操作(二)
- 手势
- 快速排序Java实现
- Visio2013绘制泳道流程图(Cross-functional Flowchart)
- 利用花生壳,内网IP映射外网IP
- LeetCode:Length of Last Word
- 剑指offer总结
- nginx 日志相关配置总结
- HDU 2296 Ring
- NavigationController
- 大二训练第一周 C - Revolving Digits &&hdu 4333 扩展kmp
- react-native (faceBook 开源项目初探)
- POJ2418Hardwood Species(Tire树)
- PHP中VC6、VC9、TS、NTS版本的区别与用法详解
- java类加载器的父亲委托机制详细介绍