TOP-K排序算法，从海量不重复数据中找出最大/小的K个数

如题，TOP-K排序的主要功能是找出一堆不重复数据中的最小或最大的几个数，此处我们介绍这种类型题目的某种解法：

最大最小堆，最大堆结构里面的每一个数不都是小于root的值么？和我们要解决的问题很像。由此，我们可以构造一个堆，并且用它来存储我们需要找的那几个数。有这么一个动态flash就很好地揭示了其中关系：
top-k动画演示

关于什么是堆在此就不做介绍了，但注意，此处所用的的最大最小堆和数据结构的推排序的堆有区别，不再赘述。下面给出一个例子来供参考：（C++代码）

#include<stdio.h>
#include<iostream>
using namespace std;
struct min_heap{
min_heap(int n){
this->size=n;
for(int i=0;i<size;i++) heap[i]=-1;
}
int size;
int heap[100];
void add(int n){
if(n<=heap[0]) return;
int tem=0;
heap[0]=n;
while(tem<size){
if(2*tem+1>=size) break;
if(2*tem+2>=size&&heap[tem]<heap[2*tem+1]) break;
if(2*tem+2>=size&&heap[tem]>heap[2*tem+1]){
int chan=heap[tem];
heap[tem]=heap[2*tem+1];
heap[2*tem+1]=chan;
break;
}
if(heap[tem]<heap[2*tem+1]&&heap[tem]<heap[2*tem+2]) break;
else{
int min= 2*tem+1;
if(heap[min]>heap[2*tem+2]) min=2*tem+2;
int chan=heap[tem];
heap[tem]=heap[min];
heap[min]=chan;
tem=min;
}
}
}
void print(){
for(int i=0;i<size;i++){
if(heap[i]>0) cout<<heap[i]<<" ";
}
cout<<endl;
}

};

//测试用例：
int main(){
int a[12]={145436,2234,113,4,5,6,7,8,9,23,45,67};
min_heap* test=new min_heap(4);
for(int i=0;i<12;i++){
test->add(a[i]);
test->print();
}
test->print();
return 0;
}

 

结果如下图：

举个例子：

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。

大数据的题有这么一个模式：先hash缩小，然后hash统计，然后排序。

此题，内存只有2××20b，数据共2××30b，假设每个词皆2××4b，我们可以推出内存一次可以存2××16个数据，总数据2××26个，我们可以hash%1024分成1024堆（hash等于某值就存储之），每堆大小大约1M，在1024堆里面统计词频，然后用上述K-tops求出结果。

当然，也有可能出现某堆不止1m大小的情况，我们需要具体再细分下去，具体如何我们可以分情况讨论。