您的位置:首页 > 其它

scala语言二次排序实现

2016-12-18 09:22 225 查看
object SecondSort {

def main(args: Array[String]) {

val conf=new SparkConf().setAppName("SecondSort").setMaster("local[2]")

val sc=new SparkContext(conf)

val textFile=sc.textFile("/spark/second.txt")

val word=textFile

.map(_.split("\t")) //: RDD[Array[String]]

.map(tuple=>(tuple(0),tuple(1).toInt))
//: RDD[(String, Int)]

.groupByKey() //: RDD[(String, Iterable[Int])]

.map(tuple=>{

val key=tuple._1

val value=tuple._2

(key,value.toList.sorted)

}) //: RDD[(String, List[Int])]

.sortByKey() //: RDD[(String, List[Int])]

word.foreach(count=>println(count._1+":"+count._2.toString()))

}

}
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: