信息的整体与部分

信息的整体与部分

如果对于信息的部分一无所知，最好的方式是对整体进行平均划分。这样可以知道在对数级的时间复杂度内得出结果；如果对信息的部分存在的概率有了解，那在对整体划分的时候首先从概率大的部分查找，这样更快的找到最终的结果。所以综合这两种情况，都是要在划分的时候尽量找到可能性最大的部分，如果找不到，也要找到平均的可能而不是找可能性小的那部分。

下面从信息论的角度分析排序，假设有5个数，从信息论的角度看，所需要的比较词数是log(5!),不超过8.如果对它们现存的大小位置关系一无所自知，最好的方式是采用二分的快速排序，那比较次数是4+1+1=6,显然是符合条件的；现在考虑一种更好的排序方式：冒泡排序，它能感知大小位置关系的分布情况，如果刚开始就只有一个乱序，那所需要的比较次数肯定比快速排序要小。