Hive TopN+分组TopN

TopN

可以通过sort by limit N 来实现 比 通过order by limit N 来实现要快得多

个人感觉sort by使用的时候如果能合理使用distribute by的话会更均衡一些

sort by可以启动多个reduce，每个reduce做局部排序，但是这对于sort by limit N已经够用了。

第一个JOB是在每个reduce中做局部排序，然后分别取TOP N。假设启动了M个reduce，

第二个JOB再对M个reduce分别局部排好序的总计M * N条数据做全局排序，取TOP N，从而得到想要的结果。

这样就可以大大提高SELECT TOP N的效率。

分组TopN

使用hive窗口函数来实现

语文成绩是80分的排名是多少

select od from (select *, row_number() over (partition by sub order by score desc) as od from t )t where sub=‘chinese‘ and score=80;