hadoop 排序

排序顺序
     默认由RawComparator 控制
     if   mapred.output.key.comparator.Class 被设置 /  JobConf  setOutputKeyComparatorClass  方法
              使用这个类的实例作为比较器
     else  自定义比较器必须继承WritableComparator ， 比较对象必须 是 继承 WritableComparable子类
     如果没有自定义的comparator， 使用RawComparator进行反序列化 ， 委托给 WritableComparable 子类的 compareTo方法
     

全局排序

二次排序

Map:   Mapper -> [first sort] to generate partition(extends

Partitioner<CombinationKey,IntWritable>  

job.setPartitionerClass(DefinedPartition.

class

) 

 )
-> 
                               [second sort] for sorting cross-group and in-group data
(

job.setSortComparatorClass(DefinedComparator.

class

) 

 )
-> 
                               shuffle

Reduce:  [group] ( { [sort1, 1],[sort1,2] } => [sort1,(1,2)] ) (

job.setGroupingComparatorClass(DefinedGroupSort.

class

)

)  =>  reduce

实例参考  http://zengzhaozheng.blog.51cto.com/8219051/1379271